2回答
因为每种类型的约定都可以用相同的方法进行解析，所以我的目标是使用单个爬行器，在三个不同的urls上启动爬行器，然后在可以保存到不同位置的三个不同的流中提取数据。我的理解是，仅将所有三个urls作为start_urls列出将导致数据的组合输出。
我的爬行器继承自Scrapy的C
浏览 16提问于2017-03-01得票数 0
回答已采纳
暂停爬行之后，我希望使用启用JOBDIR选项来保持新爬行的状态，重新启动爬行，但由于数据已经过时，我确实希望删除上一次爬行的状态。对于scrapy没有启动/停止/恢复，管理爬行的唯一命令是
scrapy crawl somespider -s JOBDIR=crawls/somespider-1
浏览 0提问于2019-02-12得票数 0
回答已采纳
1回答
你好，我正在努力完成在以下网站上找到的教程：
文件"//anaconda/lib/python2.7/site-packages/scrapy/spiderloader.py"，第43行，在load KeyError(“蜘蛛未找到：{}".format(s
浏览 5提问于2016-10-06得票数 2
回答已采纳
我是Python & Scrapy的初学者。我刚刚创建了一个带有多个爬虫的Scrapy项目，在运行"scrapy crawl ..“它只运行第一个爬虫。提前谢谢。
浏览 0提问于2014-04-11得票数 2
我对Scrapy比较陌生，我只是像下面这样输入scrapy version；但它确实触发了文件夹中的爬虫。显然，我正在开发一些爬行器，例如，一个爬行器在init方法中打开Chrome web驱动程序，只需输入Scrapy version就可以打开Chrome浏览器。为什么Scrapy要加载文件夹中的所有蜘蛛？如何避免这种情况？(django_corp_data):~/sh
浏览 11提问于2020-04-01得票数 0
我在试着做一个抓痕很宽的爬行。我们的目标是在不同的域上有许多并发的爬行，但同时在每个域上缓慢地爬行。因此能够保持良好的爬行速度并保持每个url上的请求频率较低。下面是我使用的爬虫：import scrapy
from scrapy.contrib.spiders impo
浏览 4提问于2016-05-23得票数 5
我正在尝试抓取一个服装零售购物网站。由于某种原因，每当我运行以下代码时，我最终都会从三个类别(在parse()中定义为第n个子项)中获得几个项，并从li:nth-child(5)中获得大量项。有时会出现以下错误：
2017-01-09 20:33:30 [scrapy] ERROR: Spider error processing <GET http://www.example.com/jacketsEither the element is no longer attached to the DOM or the pag
浏览 0提问于2017-01-10得票数 0
1回答
到目前为止，我们使用已经有一段时间了。它为一个scrapy项目提供了一个很好的包装器，并且它的爬行器可以通过HTTP API控制爬行器：
Scrapyd是一个用于运行Scrapy爬行器的服务。它允许您部署Scrapy项目并使用HTTP JSON API控制它们的</
浏览 120提问于2016-05-18得票数 26
回答已采纳
我有一个spiders.py在一个抓取项目与下列蜘蛛..。class OneSpider(scrapy.Spider): urls = ["url1.com",] url="http://url1.com",
callback=s
浏览 0提问于2018-07-04得票数 0
回答已采纳
我正在使用cron作业来安排我的抓取程序每隔12小时运行一次。 我已经创建了一个爬虫，它抓取数据并使用FEED_FORMAT将其存储在csv文件中。 这是我的shell文件的内容 #!bin/bash
PATH=$PATH:/usr/local/bin/scrapyscrapy crawl abc_spid
浏览 28提问于2020-03-26得票数 0
1回答
如何从另一个抓取蜘蛛开始
、、、
我在一个Scrapy项目中有两个蜘蛛。Spider1爬行页面列表或整个网站并分析内容。Spider2使用Splash在谷歌上获取URL，并将该列表传递给Spider1。因此，无需Spider2调用即可使用Spider1对内容进行爬行和分析from scrapy.spiders import CrawlSpiderimport scrapy
fro
浏览 7提问于2017-07-25得票数 3
回答已采纳
在Scrapy中，我在items.py中以特定的顺序指定了项，而我的爬行器又以相同的顺序指定了这些项。但是，当我运行爬行器并将结果保存为csv时，不会保持items.py或爬行器中的列顺序。如何让CSV以特定的顺序显示列。示例代码将非常感谢。
谢谢。
浏览 0提问于2011-08-04得票数 12
1回答
制作一个基本的python爬行器...不知道如何将我制作的一个模块包含到另一个模块中。获取：“没有模块错误”。文件结构如下：
Indeed_spider.py代码：from scrapy.selector import HtmlXPathSelectorfrom scrapy.loader import XPathItemLoader
浏览 13提问于2016-09-02得票数 2
5回答
嗨，我在scrapy上工作，我用scrapy startproject example创建了一个scrapy文件夹，并编写了爬行器来抓取url中的所有数据，我已经使用scrapy crawl spider_name命令运行了爬行器，它工作得很好，能够提取数据。但是我有一个要求，我需要用创建的单个爬虫文件运行scrapy，我的意思
浏览 1提问于2012-09-29得票数 8
回答已采纳
有时我得到失败的所有刮刀时，在一个刮刀存在一些错误。例如:我有语法错误的刮板，这是遗漏的。self response): print urlcl
浏览 2提问于2018-01-12得票数 2
回答已采纳
1回答
我在Python3中使用Scrapy (Scrapy==1.6.0)库。我想知道，在代码中Scrapy实际上在哪里做HTML请求？我想在那里设置一个断点，这样我就可以确切地看到实际传递的是什么头/cookie/ urls /和用户代理。 另外，响应的确切位置也是一样的？现在我的爬行器找不到任何页面，所以我想我要么得到一个空白的HTML文档，要么得到<e
浏览 12提问于2019-03-14得票数 0
我通常使用Tor和Polipo代理来隐藏我的蜘蛛行为，即使它们是有礼貌的，我们永远不知道。因此，如果我登录，这是无用的使用一个帐户和更改IP。因此，这就是为什么我可以在网站上创建几个帐户，并用如下所示的参数设置我的爬虫： class ASpider(scrapy.Spider): start_urls(response, formdata=data_log, call
浏览 13提问于2019-02-12得票数 1
我正在学习如何使用原始教程使用VS代码来使用Scrapy：https://docs.scrapy.org/en/latest/intro/tutorial.html 但是，当我想运行爬行器时，我得到了以下错误消息│ └───__pycache__
class QuotesSpid
浏览 12提问于2021-06-30得票数 0
1回答
能给我一个细分吗？
、、、
我希望能够启动/暂停/恢复一个蜘蛛，并且我正在尝试使用然而，这主要是一个复制和粘贴，因为没有太多的信息有人有更多关于细节的信息吗？scrapy crawl some spiders JOBDIR=
浏览 1提问于2016-01-13得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
