1回答
谁能告诉我如何从这个页面刮数据(姓名和数字)使用Scrapy。数据是动态加载的。但“网络”选项卡中没有任何内容。在哪种情况下，“网络”选项卡有用？我是个初学者。
浏览 5提问于2021-09-01得票数 0
1回答
请有人告诉我如何使用Scrapy从这个页面中刮取数据(姓名和数字)。数据是动态加载的。如果您检查Network，您将找到一个的POST请求。所以我把它复制为cURL，并通过邮递员发送请求。但我错了。
浏览 1提问于2021-09-17得票数 0
回答已采纳
我是个新手，正在尝试抓取href="javascript:WebForm_DoPostBackWithOptions(new WebForm_PostBackOptions如何使用Scrapy导航到下一页并抓取数据。
浏览 3提问于2020-08-12得票数 1
我使用Scrapy用python编写了一个脚本，以便使用身份验证从网站上抓取数据。我正在抓取的页面真的很痛苦，因为主要是由javascript和AJAX请求组成的。页面的所有主体都放在允许使用submit按钮更改页面的<form>中。URL不会改变(而且是一个.aspx)。我已经成功地从第一页抓取了所需的所有数据，然后使用以下代码更改了单击此输入按钮的页面：
浏览 38提问于2019-02-21得票数 0
1回答
:43:05 scrapy.extensions.logstats信息:抓取381页( 140页/分钟)，刮掉350项( 136项/分钟) 2017-08-25 13:44:05 scrapy.extensions.logstats信息:爬行688页(每分钟307页)，刮除659项( 309项/分) 2017-08-25 13:45:05 scrapy.extensions.logstats信息:抓取99
浏览 2提问于2017-08-25得票数 0
1回答
我可以用scrapy创建cookie，但无法修改现有的cookie。在我正在工作的电子商务网站中，这个cookie处理邮政编码，每个页面都使用这个邮政编码来修改产品属性。我可以使用selenium修改邮政编码，抓取每一页，但抓取过程太慢。我只想使用scrapy，修改这个请求/响应邮政编码cookie。我可以使用下面的代码根据我的请求创建cookie
在SETTINGS.PY中COOKIES_ENABLED
浏览 4提问于2020-10-03得票数 0
2回答
我最近开始使用Scrapy。我正在尝试从一个被分成几页(大约50页)的大列表中收集一些信息。我可以很容易地从第一页中提取我想要的内容，包括start_urls列表中的第一页。但是，我不想将这50个页面的所有链接都添加到这个列表中。我需要一种更有活力的方式。有人知道我如何迭代地抓取网页吗？有谁有这样的例子吗？
谢谢!
浏览 7提问于2011-02-03得票数 1
我正在做一个练习项目，用刮擦器抓取动态加载的内容，但是我设法撞到了墙，不知道问题出在哪里。爬行器只是拒绝启动爬行过程，被卡在"Telnet控制台监听127.0.0.1:6023“部分上。-11-24 09:58:19 scrapy.extensions.logstats信息:抓取0页(0页/分钟)，0项(0项/分钟)2022-24 09:59:19 scrapy.extensions.logstats信息:抓取0页
浏览 32提问于2022-11-24得票数 1
回答已采纳
我是Scrapy的新手，对Python也不是很熟悉。我已经设置了一个抓取器来从网站上抓取数据，但是虽然我使用的是代理，但如果同一个代理被使用太多次，那么我的请求就会显示一个页面，告诉我访问太多页面太快(HTTP状态代码200)。因为我的抓取器看到的是页面的状态代码为on，它找不到所需的数据并移动到下一页。
我可以确定何时通过HtmlXPathSelector显示这些页面，但是我如何通知Scrapy重试该页面呢？
浏览 1提问于2013-03-25得票数 3
回答已采纳
我正在使用scrapy在一个网站上抓取多个页面。变量start_urls用于定义要爬行的页面。我最初会从第一页开始，因此在文件example_spider.py中定义start_urls = [1st page]
在从第一页获得更多信息后，我将确定下一页将被抓取，然后将相应地分配start_urls因此，我必须用对start_urls = [1st page, 2nd page, ..., Kth page]的更改覆盖上面的example_spider
浏览 1提问于2012-01-10得票数 12
回答已采纳
1回答
我正在尝试让scrapy (1.0)遍历所有google结果，并且我可以毫不费力地抓取结果的第一页，但是我不能让抓取器遍历下面的页数(我认为这叫做遍历？)。我尝试使用“规则”：但我一直收到错误：
NameError: name 'Rule' is
浏览 2提问于2015-07-11得票数 0
1回答
我必须抓取和刮相当多的网站，这些网站是由React / javascript / html技术组合而成的。这些网站在所有地方都有大约。10万至50万页。我计划使用Selenium和Scrapy来完成爬行和抓取。单是Scrapy就不能对页面进行抓取，使用Selenium来抓取常规的javascript/html是非常耗时的。我想知道是否有任何方法我的爬虫/刮刀可以理解反应页面与Javascript
浏览 3提问于2019-12-04得票数 0
回答已采纳
我使用scrapy从网页抓取信息。我已经写了爬虫代码，它工作得很好。我还有一些其他的python代码文件来优化抓取的数据。总而言之，我有一个批处理文件，我首先在其中使用"Scrapy Crawl“命令，然后运行我的python文件来优化抓取的信息。问题是，批处理脚本在"Scrapy Crawl“命令的末尾停止，并且不会继续执行批处理文件中后面的行。我该如何解决这个问题？批处理文件的内容</
浏览 1提问于2013-05-09得票数 1
回答已采纳
1回答
伙计们，我想从上抓取一切都好，我抓取它的成功from scrapy.loader import ItemLoader
浏览 1提问于2016-07-25得票数 0
回答已采纳
我正在使用Scrapy来抓取ntry.com它的主页的url是ntry.com/#/main.php，但出于一个我不知道的原因，我不能刮错一页。这是我的代码。import scrapy
name = "ntry"start_urlsopen(filena
浏览 0提问于2016-11-20得票数 0
1回答
目的:从div类list_area daily_all中抓取文本数据。使用scrapy shell，我首先“抓取”了我想要抓取数据的网站：https://comic.naver.com/webtoon/weekday.nhn 使用'scrapy shell‘脚本：scrapyshell 'https://comic.naver.com/webtoon/w
浏览 18提问于2019-06-10得票数 2
2回答
我在和scrapy合作。我想遍历一个db表，获取每个抓取的起始页(random_form_page)，然后为每个起始页生成一个请求。请注意，我正在使用api来获取初始请求的代理。我希望设置每个请求都有自己的代理，所以使用我拥有的回调模型： for x in xrange(8):
浏览 5提问于2016-09-28得票数 7
回答已采纳
我能够从第一页抓取所有的故事，我的问题是如何移动到下一页，继续抓取故事和名字，请检查下面的代码。# -*- coding: utf-8 -*-from cancerstories.items import CancerstoriesItem name = scrapy.Field()
story = scrapy.Fi
浏览 2提问于2016-02-10得票数 2
回答已采纳
我正在尝试使用scrapy从flipkart.com中抓取一些数据。除了翻到下一页，我什么都拿到了。首先，我尝试使用scrapy，然后使用selenium。实际上，一个类有上一页和下一页的两个链接。 使用scrapy:我无法获取任何结果。我得到的是空白输出。 使用selenium:每当我尝试点击下一页时，从第一页到第二页都可以正
浏览 45提问于2021-02-10得票数 1
1回答
我正在尝试抓取#页的数据。我已经做了一个可以从一个页面抓取数据的抓取器。但它在刮掉第一页后突然完成了工作# -*- coding: utf-8 -*-import csvfrom scrapy.selector import Selector
class Proddduc
浏览 11提问于2019-11-07得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
