1回答
屏幕抓取JS页面
、、
我正在尝试抓取这个页面，但它不工作。我试过了 $html->load_file($url);
但是对于我想要抓取的问题(.trivia- found )却找不到。
浏览 3提问于2013-07-03得票数 3
回答已采纳
PapaGordsmack/", headers=headers)print(html_contents)
我试图从特定用户的sky.lea.moe网站上抓取网页，但当我请求并打印html时，它与浏览器中显示的不同(在chrome上，查看页面源代码)。
浏览 20提问于2020-02-09得票数 0
我正在尝试以下代码：if __name__ == '__main__': import requests r = s.get(link) print(sou
浏览 1提问于2020-02-05得票数 0
我已经阅读了一些关于抓取的文章，似乎NodeJS、ExpressJS、Request和Cheerio是我作为一个熟悉JS/jQuery的前端人员的首选方法。到目前为止，我读过的所有文章都集中在没有API的情况下从特定网站上抓取数据，而我想要实现的是一个工具，它可以获取任何给定的URL，并返回true/false来列出正在使用的通用库和链接的社交网络。由于CSS选择器，我选择的设置(如上)是合适的，还是仅限于抓取特定页面？
浏览 0提问于2014-08-07得票数 0
1回答
是否更容易抓取AMP版本的网页？
、、、、
我知道AMP协议要求Javascript的精简版本，我也知道Javascript (在一定程度上)使网站管理员能够检测/防止抓取。因此，从逻辑上讲，我认为抓取AMP网站会更容易一些。
浏览 11提问于2019-04-08得票数 0
我试图用Node.JS抓取一个网站，但当抓取html文件时，出现的东西是注入JavaScript的脚本标签，在查看有问题的JavaScript文件时，我似乎是正确的，因为我发现了我试图抓取的文本。在这个脚本被注入到html之后，我如何抓取文档？有什么办法吗？谢谢
浏览 22提问于2020-11-04得票数 0
回答已采纳
1回答
我有两个问题：
#these all return empty element sets
如何加载所有可见结果的页面编辑:在建议使用selenium之后，我构建了一个函数，它将使用Selenium/Chrome加载页面，然后将ht
浏览 1提问于2017-01-17得票数 1
回答已采纳
2回答
我们正在使用Puppeteer编写一个网络爬虫。我们写的木偶爬虫执行和爬行网站的网址没有问题的网页，如约1,500 - 5,000，但是，当我们执行的网站超过5,000，如果它在中间由于一些错误或崩溃而中断，那么它需要重新开始。如果出现任何错误，如何使基于Puppeteer的网络爬虫从爬行的最后状态恢复？在Puppeteer中有没有内置的函数？如何让这个木偶手无头的chrome web爬行通过一个队列系统？
浏览 14提问于2020-12-05得票数 2
因此，我已经能够编写一个脚本，能够从Excel中提取股票基本面数据。耶。我知道这个更新已经难倒了很多人。这是我当前的代码。我希望与网页互动，以便我可以拉资产负债表和现金流数据以及。此外，我希望从季度而不是年度的角度来看待这些数据。为了便于参考：https://finance.yahoo.com/quote/AAPL/financials?p=AAPL 这将需要我按下屏幕上的一个按钮；但是，我不确定如何进行这项工作。 Sub importData() Chart.Delete
Dim
浏览 21提问于2020-12-28得票数 0
1回答
我正在尝试从一个网站中刮取数据，但它返回以重新获得访问，请确保在重新加载页面之前启用了cookie和JavaScript。fmt.Println("item is already crawled") })
我在文档“自动cookie和会话处理”中看到了，所以问题可能是js首先，可以尝试如何在colly中启用js？
浏览 5提问于2020-10-04得票数 1
1回答
从页面抓取时遇到麻烦
、、、
参考我的一个，我必须抓取一个酒店的评论(所有评论)，例如这个我已经使用Selinium抓取了评论，但我的客户不想使用Selinium，因为它加载了整个页面<
浏览 0提问于2014-11-28得票数 1
我有一个网站，将抓取新的数据在第一页访问。我想使用AJAX来做这件事，这样我就可以在抓取过程中向用户提供至少一些loading.gifs，但这只有在启用了Javascript的情况下才能实现。我的站点使用了一个PHP模板引擎，所以我想把抓取函数放在html模板的<noscript>标记中。因为这将在所有PHP代码之后发生，所以我必须重新加载页面，以便可以使用PHP呈现/解析抓取的数据。
浏览 0提问于2011-01-16得票数 1
我使用的是Bootstrap 3下拉菜单CSS和JS。下拉菜单仅有效一次。<li><%= link_to("Contacts", contacts_path) %></li> </li>JSCDN Include
浏览 5提问于2013-09-30得票数 5
1回答
例如，如果我试图读取出现在页面上的底部表格，我将使用以下代码：html_content <- read_html("https://projects.fivethirtyeight.com其中包括页面上的一些表元素，但不是我感兴趣的元素。
如果您对我的错误之处有任何建议，将不胜感激！
浏览 17提问于2016-08-31得票数 3
回答已采纳
1回答
我想刮一个网站的一部分，让我们说: www.mywebsite.com/x1/x2您需要先打开x1，然后单击按钮，x2将作为弹出窗口打开。如果关闭x1，则无法访问x2。该网站支持JavaScript。
浏览 3提问于2015-07-20得票数 0
2回答
我有两个页面(A和B)，它们是使用django + jquery编写的。它们的urls是：http://127.0.0.1:8082/temp2/ (pageB) $("#tmp_button1").click(function(tmp_event
浏览 0提问于2013-10-14得票数 1
2回答
我希望从网页urls获得结构化文章数据。到目前为止，我已经找到了这两个服务和。有没有更好的替代方案，或者自己写代码来做这件事值得吗？
浏览 2提问于2014-10-07得票数 0
1回答
使用AJAX请求抓取页面
、、、
我正在使用带有jsDOM的Node.js来抓取网页并在其中执行JavaScript。但是，如果页面包含AJAX请求，则不会执行这些请求。
是否有在抓取的页面中执行AJAX调用的选项？
浏览 1提问于2011-05-27得票数 4
回答已采纳
1回答
Isoup = BeautifulSoup(IR.text, "html5lib")
假设页面上的项不需要javascript (如果条目需要的话)，这个解决方案可以工作--它只会在文档准备好之前检索初始页面。我意识到我可以使用python驱动程序，但我想知道这个问题是否还有其他的解决方案，可以让web抓取工具更容易自动化。
浏览 3提问于2017-07-17得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
