1回答
我正在尝试从网页中捕获动态内容。加载内容后，数据动态显示在网页上。在一个网页上，控制台中的响应是json格式的，第二个是html。我尝试过使用scrappy和urllib3，但是除了从网页本身获取静态数据之外，我没能捕捉到其他东西。
下面是我尝试在scrappy中使用的内容。class spider(scrapy.Spider):
浏览 1提问于2020-05-25得票数 1
2回答
我是第一次使用scrapy，我一直在尝试从意大利政府https://www.governo.it/it/cscovid19/report-vaccini/的网站上抓取接种疫苗的数量(中间的大数字)。我想我已经能够正确地设置scrapy了，当我在scrapy shell中写"view(response)“时，我正确地得到了整个网站，但是不管我用xpath写了什么，我都不能得到这个数字。该数字在h1标记内： <h1
浏览 34提问于2021-03-23得票数 0
回答已采纳
1回答
我有以下html结构：我想从突出显示的span (使用Scrapy)中提取文本(“Business”-Fokus im Master-Kur)，但是我很难到达它，因为它不包含任何特定的类或id
浏览 6提问于2021-03-16得票数 1
回答已采纳
我正在尝试抓取这个页面：def start_requests(self): url=self.start_url
浏览 2提问于2020-12-04得票数 2
我刚开始刮擦，试着在不同的页面上爬行。 name = "chrome"
chromeOptions = webdriver.ChromeOptionsview=1' for url in urls:
浏览 1提问于2019-11-15得票数 0
回答已采纳
1回答
在运行刮擦蜘蛛时，我看到日志消息有" DEBUG：“，其中包含1.DEBUG： (200) (GET ) (引用: None) 2.调试:从(200 )中刮擦
浏览 3提问于2015-06-11得票数 0
回答已采纳
1回答
我正在使用刮伤来爬行一些网页。但在某种程度上，谷歌reCAPTCHA阻挡了前进的道路。如果浏览器(在本例中为scrapy)没有运行的javascript，Google reCAPTCHA甚至不会加载。它只是要求您启用您的javascript来查看和解决reCAPTCHA。因此，我认为，如果我能够找到一种方法在发生时向用户显示这个reCAPTCHA，用户可以手动解决这个问题，并且scrapy继续爬行，但是我无法用一个真正的javascript来中断这个进程。在这一点<em
浏览 0提问于2019-03-06得票数 4
1回答
我正在尝试使用FormRequest获取网页内容以绕过表单。但问题是，在这个表单之后，有一个页面与加载栏，只有在这个栏是满后，网站显示我想要的内容。scrapy脚本在响应对象中给出了加载页面，而不是具有我想要的结果的最终网页。我能做些什么来解决这个问题？我认为，也许我需要设置一个计时器，让爬虫等待加载的页面完成他的工作。
浏览 1提问于2015-07-10得票数 0
我使用Scrapy加载这个网页：想要找到：然而如果我在这个网页的铬检查中使用find，我可以找到3的"//div[@class='inline']"。这是个虫子吗？
浏览 1提问于2016-03-06得票数 1
回答已采纳
2回答
我是Scrapy的初学者。我试图登录一个网站，让我能够做刮刮。但我被困住了。下面是我蜘蛛的代码import scrapyfrom scrapy.selector import HtmlXPathSelectorfrom scrapy.log import log
name = "login"
allow
浏览 1提问于2015-05-07得票数 0
在我的大学里，我们通过输入名字和学生ID来检索我们的学期成绩。我现在正在为项目学习网络抓取，刮取或BeatifulSoup是否为一次检索100个结果提供了一个解决方案？
浏览 9提问于2022-08-10得票数 -1
1回答
我想抓取一个网页，它显示了在谷歌的网络商店的搜索结果，该链接是静态的，为特定的关键字。问题是我无法呈现由Javascript代码生成的动态数据，以响应服务器。我尝试使用Scrapy和Scrapy-Splash呈现所需的页面，但仍然得到相同的响应。我使用Docker在端口8050上运行scrapinghub/splash容器的一个实例。我甚至访问了网页http://localhost:805
浏览 12提问于2019-07-07得票数 0
1回答
动态内容抓取
、、
我们可以使用Scrapy从由Javascript加载的网页中获取内容吗？我正在尝试从页面中抓取使用示例，但是由于它们是使用Javascript作为JSON对象加载的，所以我无法使用Scrapy获取它们。
你能提出什么是处理这些问题的最佳方法吗？
浏览 5提问于2016-11-22得票数 0
回答已采纳
1回答
我需要防止从网页加载图像，css文件，主题和脚本。在使用scrapy的基本抓取中 有什么方法可以从setting.py或其他网站上阻止他们吗？导入scrapy class MySpyder(scrapy.Spider): start_urls = [l.strip() for l in open
浏览 14提问于2020-08-14得票数 0
回答已采纳
1回答
到目前为止，我一直在使用scrapy和编写自定义类来处理使用ajax的网站。但是，如果我使用scrapy-splash，据我所知，它会在javascript之后抓取呈现的html，爬虫的速度会受到严重影响吗？使用scrapy抓取一个普通的html页面所需的时间与使用scrapy-splash抓取javascript渲染的html所需的时间进行了怎样的比较？最后，scrapy splash和Selenium的比较如何？
浏览 3提问于2018-04-18得票数 12
回答已采纳
1回答
在由Scrapy和Splash服务器组成的爬行器中，我在这个站点上遇到了问题：</html>
如您所见，Splash在返回
浏览 7提问于2021-08-02得票数 0
回答已采纳
现在让我开始说，我知道bs4，scrapy，selenium和更多可以做到这一点，但这不是我想要的，原因有很多。我想做的是打开一个网页浏览器(chrome，即火狐)，并从网页上提取的网页加载后，从网页浏览器从什么网页浏览器的网站。
浏览 1提问于2018-04-26得票数 2
我正试着用Scrapy从Youtube上收集一些评论。但是，当我进入scrapy shell模式并使用view(response)打开它时，除了加载旋转器之外，我找不到任何注释。scrapy shell https://www.youtube.com/watch?v=kkl7-NzqxWo在注释部分显示无限旋转器。我怎样才能同时加载评论以便我可以刮掉它们呢？
浏览 1提问于2018-12-01得票数 0
回答已采纳
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号