我试着用Nokogiri刮Reddit，但是一次运行就告诉我我放了太多的请求。require 'nokogiri'url = "https://www.reddit.com/r/all"
OpenURI::HTTPError: 429 Too Man
浏览 5提问于2016-08-17得票数 1
回答已采纳
2回答
我到处都找过了，我找到的就是用Nokogiri做CSS选择，我想要的就是去掉所有的HTML标签。<li><a href="http://youtube.com">YouTube</a></li>
<li><a data-category="news" href="http://reddit.com">Reddit</a
浏览 1提问于2014-05-05得票数 2
www.example.com#code to loginrequire 'logger'require 'nokogiriresult = form.submitputs "logged in"
url = 'data_path_url'
doc = Nokogiri</e
浏览 5提问于2016-07-04得票数 4
1回答
我一直在使用下面的代码来抓取一个网站，但我想我可能抓取得太多了，导致我自己完全被禁止访问该网站。require 'rubygems'require 'nokogiri'
doc = Nokogiri::HTML(open
浏览 0提问于2011-12-25得票数 1
回答已采纳
2回答
我在我的一个项目上有一个客户请求，他们希望能够输入一个url，并让它从他们输入的网站的url中提取一些信息，并将其保存在数据库中。我应该使用一些rails命令来完成这项工作，还是使用其他命令，比如jQuery？
浏览 0提问于2011-05-30得票数 2
回答已采纳
3回答
所以我有一个子编辑的列表，我使用urllib打开它们。当我阅读它们时，urllib最终失败了：在进行一些研究时，我发现reddit通过IP限制将请求装载到服务器上：每两秒钟只提出一次请求。有一些突发的请求，但保持理智。一般情况下，请立即保持不超过30次请求。
上面的引
浏览 5提问于2012-11-03得票数 10
回答已采纳
我试图通过在Chrome中查看网站的HTML并使用Nokogiri抓取数据来抓取网站。问题是有些标签是动态生成的，当使用open-uri时，它们不会与open(url)请求一起出现。
浏览 5提问于2013-07-07得票数 5
1回答
我一直在尝试使用BeautifulSoup学习一些html解析，并尝试让它在reddit上工作。这是我的代码，for link in soup.findAll('a'):
但是代码仍然无法找到超链接。
浏览 2提问于2014-07-31得票数 0
我正在尝试在Google App Engine中用Golang创建一个Reddit API。time")
one, two:=Call(c, "http://www.reddit.comreturn nil, err
req.Header.Add("User-Agent", "This is a very cr
浏览 1提问于2013-05-23得票数 1
3回答
我正在使用Heroku托管一个小应用程序。它为每个搜索请求运行了一个使用Mechanize和Nokogiri的屏幕抓取程序，这需要大约3秒的时间来完成。屏幕抓取程序会阻止任何其他想要访问这个应用程序的人吗？换句话说，它是处于仅供当前用户使用的保留模式，还是供所有人使用？
浏览 0提问于2011-01-12得票数 1
回答已采纳
1回答
我想从其他电子商务网站获得产品相关数据到我的网站。它只是一个过程，就像给特定的产品网址从其他电子商务网站，以显示产品信息在我的网站。对于ror有什么解决方案吗？如果你知道这件事，请分享你的想法。
浏览 3提问于2013-10-04得票数 1
1回答
我刚刚开始使用Nokogiri，并且已经能够成功地设置HTML页面的外观。我现在正在尝试抓取某个使用大量JavaScript驱动的页面。
作为我上路的一个例子-我如何从上的一个蓝色框中抓取十进制值
浏览 2提问于2017-03-31得票数 1
1回答
我正在尝试爬行一个电子商务目录，其中的产品数据是使用Ajax响应加载的。有没有什么方法可以让我发起一个请求，并在一段时间后记录响应？
浏览 16提问于2016-09-20得票数 0
回答已采纳
1回答
什么是获得Reddit头版头条新闻的最佳方式？目前，我正在使用BeautifulSoup4来尝试抓取它们，但是使用Reddit API似乎是一个可行的选择，但我在文档中找不到哪个URL可以请求标题标题。像http://www.reddit.com/r/frontpage/top.json?limit=10这样的东西是我的猜测，但这并没有在上产生任何标题。
浏览 2提问于2015-01-19得票数 1
回答已采纳
当我试图使用.json扩展使用Java访问任何Reddit页面时，会得到太多的HTTP429请求响应。
有人熟悉这件事吗?为什么我会犯这些错误？是否有
浏览 4提问于2015-06-23得票数 2
回答已采纳
我正在尝试用Ruby编写一个脚本，它允许我提取数字，然后在我的程序中使用它。在firebug中，标签看起来像这样，但只有在数字加载之后：我已经探索了hpricot和nokogiri等库，并尝试了类似以下代码：require "open-uri"
doc = Nokogiri::HT
浏览 7提问于2013-03-13得票数 3
回答已采纳
我们正在尝试抓取这个页面上的可用性：
我需要使用我的爬虫来选择“所有楼层平面图”，并获取所有的可用性。但我相信数据实际上是通过Javascript请求发送的。有没有办法让我的Nokogiri爬虫渲染它？或者模拟点击按钮的过程？
浏览 1提问于2015-06-10得票数 4
begin 'https://www.reddit.com/r/vintageobscura.json', "User-Agent
浏览 13提问于2021-10-06得票数 1
因此，我正在抓取上所有帖子的链接(特别是过去24小时的顶级帖子)。但是当我运行我的程序时，它有时输出所有的数据，而另一些时候则什么也不输出。同样的密码。它的工作时间大约是1/5。# URL of subreddit# the html of the
浏览 4提问于2022-04-24得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
