2回答
我使用Python + scrapy来实现这一点，并且只有一个问题:当返回为响应和包含的所有内容(div、span等)时，该部分似乎是空的。也不能通过CSS查询来解决。除了本节的内容外，我还可以访问其他所有内容。这是一个网站：import scrapy
name =response):
price =
浏览 0提问于2018-10-02得票数 0
回答已采纳
1回答
如您所知，scrapy同时处理几个请求。如果在处理上一次请求之前将引发此异常，怎么办？它会等待处理以前提出的rest请求吗？
浏览 10提问于2015-07-14得票数 1
回答已采纳
我有下面的Scrapy代码，它应该在每次发现Span元素‘title=“目标’的实例时返回”目标“一词：from scrapy.selectorimport Selectorfrom scrapy.cmdline import execute
class M
浏览 2提问于2014-07-15得票数 1
回答已采纳
1回答
首先，如果我使用extract_first，scrapy会给我每个页面的第一个元素，如果我像这样运行它，它会返回我想要的所有内容，但都是一行程序。其次，我不能让scrapy转到我刚刚抓取的链接，并从这些链接中获取信息，返回一个空的csv文件。from scrapy import Spiderimport re
class companiesSpider(Sp
浏览 15提问于2019-07-18得票数 0
回答已采纳
我试图访问url 中以下表元素的所有数据，我尝试使用scrapy爬行数据。但是无法爬行，出现了一些错误，我无法爬行所需的所有数据。请帮助我更正我的代码爬行‘名称’，‘图片链接’，‘如何进行锻炼’和所有其他数据在表中可用。我正在试验以下代码：from scrapy.selector import Selector
from myproject.itemsimport g
浏览 1提问于2015-06-24得票数 1
回答已采纳
我正在用Scrapy两阶段爬行来聚合日常数据。第一阶段从索引页面生成URL列表，第二阶段为列表中的每个URL编写HTML到Kafka主题。from twisted.internet import reactorfrom scrapy import log, signals
from scrapy_somesite.spiders.create_urls_s
浏览 3提问于2015-06-21得票数 5
回答已采纳
我需要得到所有邮政编码中所有类别的所有结果。我的蜘蛛将邮政编码和类别作为POST数据的参数。我希望通过脚本以编程方式为每个邮政编码/类别组合启动一个蜘蛛。
浏览 1提问于2015-01-19得票数 3
回答已采纳
2回答
我试图使用Scrapy从以下网址获取所有当前WWE超级明星的名字：，但是，当我运行刮刀时，它不会返回任何名称。我相信(通过尝试其他模块的问题)，问题在于Scrapy没有从页面中找到所有的html元素。import scrapy
name = "star_spider"
start_urls = [&quo
浏览 1提问于2018-04-09得票数 0
回答已采纳
5回答
有没有办法在不使用Scrapy守护进程的情况下运行Scrapy项目中的所有爬行器？过去有一种方法可以用scrapy crawl运行多个爬行器，但这种语法被删除了，Scrapy的代码也发生了很大的变化。()Traceback (most recent call last): File "/usr/lib
浏览 0提问于2013-03-22得票数 17
回答已采纳
2回答
我正在尝试从一个网站获取一些数据，但是当我使用下面的代码时，它返回所有匹配的元素，我只想返回第一个匹配！我已经尝试过extract_first，但它没有返回任何结果！# -*- coding: utf-8 -*-from gumtree.items import GumtreeItem
class FlatSpider(scrapy.Spiderresponse.xpath('//*[@
浏览 13提问于2016-09-19得票数 1
回答已采纳
1回答
我正在尝试创建一个刮刀，它可以从某个网站抓取数据，例如：
class SpiceJetSpider(scrapy.Spider):
浏览 9提问于2022-03-14得票数 0
2回答
目前，它返回所有的urls，但我希望它只返回包含单词“download”的urls。我该怎么做？from scrapy.selector import HtmlXPathSelectorfrom scrapy.http importRequestURL = 'htt
浏览 5提问于2017-03-27得票数 1
回答已采纳
# Spider Array: add spider into array# -*- coding: utf-8 -*-from scrapy import Request
from TainanItemspider (fin
浏览 0提问于2018-03-17得票数 1
到目前为止我拥有的代码是：from scrapy.selector import Selectorfrom scrapy.cmdline import execute
name =','crawl',
浏览 4提问于2014-07-14得票数 1
回答已采纳
我有一些代码如下所示： runner = CrawlerProcess(settings)../../.virtualenvs/scrape-service/lib/python3.6/site-packages/scrapy/crawler.py:291: in
浏览 0提问于2018-02-21得票数 4
回答已采纳
欢迎任何帮助:)# main.pyfrom spiders import my_spider'FEED_EXPORTERS' : { }
process.crawl(my_spider.MySpider
浏览 0提问于2018-04-18得票数 0
回答已采纳
1回答
我正在做一个教程，用Scrapy构建一个基本的web刮刀。这是链接。在启动命令提示符中的刮板之前，我在尝试以下代码行时收到了“未解决的导入”错误：from <em
浏览 7提问于2013-01-11得票数 0
示例代码： name = "exampleSpider"
start_urls = ["https://www.example.com
浏览 4提问于2022-01-03得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
