找不到Scrapy - Spider
Scrapy-Spider是一个Python开源的网络爬虫框架，它可以帮助开发者快速、高效地从网页中提取数据。Scrapy-Spider可以自动化地在互联网上浏览网页，并从中抓取所需的数据。以下是对Scrapy-Spider的完善且全面的答案：
概念： Scrapy-Spider是一个基于Python的开源网络爬虫框架，它提供了简单而强大的方式来定义爬取网站的规则，并通过自动化地发送HTTP请求和处理响应来获取网页数据。它可以从HTML、XML和JSON等格式的网页中提取结构化的数据，并支持自定义数据处理流程。
分类： Scrapy-Spider可以被归类为一种网络爬虫框架，它专门用于爬取互联网上的数据。
优势：
- 强大的抓取能力：Scrapy-Spider具有高度可定制的抓取规则，可以根据需要提取网页中的数据，并支持并发抓取和异步处理，提高了数据抓取的效率。
- 高效的数据处理：Scrapy-Spider提供了数据处理管道，可以对抓取到的数据进行清洗、过滤、存储和转换等操作，便于后续的数据分析和应用。
- 可扩展性：Scrapy-Spider支持扩展插件和中间件的开发，可以根据需求添加自定义功能或对请求和响应进行处理。
- 支持异步和分布式：Scrapy-Spider支持异步处理和分布式部署，可以利用多台机器进行并发抓取和处理，提高整体的性能和可伸缩性。
应用场景： Scrapy-Spider广泛应用于以下场景：
- 网络数据抓取：可以用于爬取各类网站的数据，如新闻、商品信息、社交媒体等。
- 数据分析与挖掘：获取大量的网页数据，并进行清洗和处理，用于数据分析、挖掘和建模。
- 搜索引擎索引更新：爬取网页内容，更新搜索引擎的索引库，保证搜索结果的及时性。
- 网络监测与安全：用于监测网站的变化、漏洞和安全问题，及时发现并采取措施。
- 数据采集和信息监控：实时抓取网页数据，并监控特定的信息更新或事件发生。
推荐的腾讯云相关产品： 腾讯云提供了一系列的云服务和产品，可以与Scrapy-Spider结合使用，实现更全面的数据采集和处理。以下是几个推荐的腾讯云相关产品和产品介绍链接地址：
- 云服务器（CVM）：提供弹性、可靠的云主机服务，可用于部署Scrapy-Spider的爬虫应用。详情请参考：腾讯云云服务器
- 弹性MapReduce（EMR）：提供强大的大数据处理能力，可用于对Scrapy-Spider获取的大规模数据进行分布式处理和分析。详情请参考：腾讯云弹性MapReduce
- 对象存储（COS）：提供高可靠、低成本的对象存储服务，适用于存储Scrapy-Spider抓取的数据。详情请参考：腾讯云对象存储
- 云数据库MySQL：提供高可用、可扩展的云数据库服务，可用于存储Scrapy-Spider爬取的结构化数据。详情请参考：腾讯云云数据库MySQL
希望以上信息能够对您有所帮助。如果您还有其他问题或需要更多信息，请随时提问。
相关·内容
我在此路径C:\Users\PATTY\Desktop\Project_Website\Scrapy上使用scrapy启动了一个项目
问题是我导入的大多数项目都找不到。例如，在quotes.py中，它成功地导入了模块scrapy，但无法打开它的项目：
import scrapy
class QuotesSpider(scrapy.Spider): # Error Cannot find reference Spider in imported module scrapy
name = 'quotes'
allowed_domains = ['qu
浏览 11提问于2017-03-02得票数 0
回答已采纳
23回答
这是Windows 7和python 2.7
我在一个名为caps的目录中有一个刮擦的项目( scrapy.cfg就在这里)
我的蜘蛛位于caps\caps\spiders\campSpider.py
我加入了这个项目，然后尝试运行
scrapy crawl campSpider -o items.json -t json
我犯了一个错误，就是找不到蜘蛛。类名是campSpider
...
spider = self.crawler.spiders.create(spname, **opts.spargs)
File "c:\Python27\lib\site-packag
浏览 6提问于2012-03-26得票数 43
回答已采纳
我在Anaconda上运行scrapy，并尝试运行中的示例代码，如下所示：
import scrapy
from scrapy import Spider
class BrickSetSpider(scrapy.Spider):
name = "brickset_spider"
start_urls = ['http://brickset.com/sets/year-2016']
我是一个初学者与Scrapy，所以保持在mind.This代码执行，但没有输出显示。应该会根据我得到代码的那篇文章来输出。请让我知道如何查看蜘蛛收集的信息。我在
浏览 9提问于2018-07-06得票数 0
回答已采纳
2回答
这可能是一些基本的东西，但我找不到任何最近(非反对)的例子。给定以下代码
#This is the tutorial project for scrapy
from scrapy.item import Item, Field
class DmozItem(Item):
title = Field()
link = Field()
desc = Field()
from scrapy.spider import Spider
class DmozSpider(Spider):
name = "dmoz"
allowed_domai
浏览 3提问于2014-02-21得票数 0
回答已采纳
1回答
用“刮伤”刮图像没有结果
、、、
我一直在尝试使用Scrapy爬行Imgur的图像，但我遇到了问题。
蜘蛛似乎运转良好，但它没有继续到现场去做这项工作。
我找不到我搞砸的地方。
items.py
import scrapy
class ImgurItem(scrapy.Item):
title = scrapy.Field()
image_urls = scrapy.Field()
images = scrapy.Field()
setting.py
BOT_NAME = 'imgur'
SPIDER_MODULES = ['imgur.spiders']
NEWS
浏览 6提问于2015-10-16得票数 1
回答已采纳
1回答
任何人都可以解释如何使用scrapy调用和处理请求的回调函数的结果？
我理解scrapy可以接受对象的结果(请求、BaseItem、None)或对象的Iterable。例如：
1.返回对象(请求或BaseItem或无)
def parse(self, response):
...
return scrapy.Request(...)
2.返回对象的可迭代性
def parse(self, response):
...
for url in self.urls:
yield scrapy.Request(...)
我在想，在刮刮码的某个地方，它们是
浏览 0提问于2014-12-27得票数 2
回答已采纳
1回答
我一直在尝试让一个简单的爬虫与scrapy一起运行，但一直得到错误：
Could not find spider for domain:stackexchange.com
当我使用表达式scrapy-ctl.py crawl stackexchange.com运行代码时。蜘蛛如下所示：
from scrapy.spider import BaseSpider
from __future__ import absolute_import
class StackExchangeSpider(BaseSpider):
domain_name = "stackexchange.co
浏览 3提问于2010-05-22得票数 4
回答已采纳
4回答
我有一个非常基本的爬行器，遵循入门指南中的说明，但由于某些原因，尝试将我的项目导入到我的爬行器中会返回一个错误。Spider和items代码如下所示：
from scrapy.spider import BaseSpider
from scrapy.selector import HtmlXPathSelector
from myProject.items import item
class MyProject(BaseSpider):
name = "spider"
allowed_domains = ["website.com"]
浏览 3提问于2013-04-14得票数 4
回答已采纳
我想要获取抓取的项目的总数，但我总是得到错误 from scrapy.stats import stats
class MySpider(Spider):
name = "myspider"
start_urls = ["http://example.com"]
#Other Code
def close_spider(self, spider):
stats.set_value('item_scraped_count') 我总是收到这样的错误："Scrapy.stats已经过时，请改用crawler.stats
浏览 43提问于2019-04-20得票数 0
回答已采纳
我正在使用scrapy创建一个示例web爬虫作为一个Nameko依赖提供商，但它没有爬行任何网页。下面是代码
import scrapy
from scrapy import crawler
from nameko import extensions
from twisted.internet import reactor
class TestSpider(scrapy.Spider):
name = 'test_spider'
result = None
def parse(self, response):
TestSpider.
浏览 0提问于2017-09-03得票数 1
回答已采纳
我是python scrapy的新手。我已经做了一些教程，我已经能够将数据发送到mongodb，但它没有在自己的简单项目中工作，即获取api并将比特币价格输入到mongodatabase中。我的scrapy项目如下：
bitscrape/spiders/__init__.py
# This package will contain the spiders of your Scrapy project
#
# Please refer to the documentation for information on how to create and manage
# your spiders.
浏览 1提问于2018-01-12得票数 0
回答已采纳
import logging
logging.getLogger('scrapy').setLevel(logging.WARNING)
import scrapy
class spider1(scrapy.Spider):
name = 'Wikipedia'
start_urls = ['https://en.Wikipedia.org/wiki/Battery_(electricity)']
def parse(self,response):
def parse(self, respons
浏览 0提问于2018-06-09得票数 0
1回答
只抓取给定页面
、、、
我开始学习刮伤，我在谷歌搜索这个问题大约4到5个小时，但什么都找不到。有人能帮我吗？我有一个电子商务网站。我只会取产品页面。其他页面无，并将传递另一页。我给了starturls主页，之后我设置了urls允许()，并解析和跟踪true，但是我无法管理它来跟踪链接
scrapy crawl loom
2014-05-14 12:33:20+0000 [scrapy] INFO: Scrapy 0.23.0 started (bot: loom)
2014-05-14 12:33:20+0000 [scrapy] INFO: Optional features available: ssl, htt
浏览 3提问于2014-05-14得票数 1
回答已采纳
我正在尝试使用子进程调用运行scrapy爬行器，但它不接受任何参数，它知道什么是scrapy。例如：
from subprocess import call
call(["scrapy"], shell=True)
工作正常，并给出预期的输出-
Scrapy 1.1.1 - project: instagram
Usage:
scrapy <command> [options] [args]
Available commands:
bench Run quick benchmark test
check Check s
浏览 4提问于2016-12-21得票数 0
Scrapy警告我有多个同名的蜘蛛。正如下面的终端输出所解释的，我不知道为什么。
(env) MacBook-Air:scrapy_project username$ find . -name "*.pyc" -exec rm -f {} \;
(env) MacBook-Air:scrapy_project username$ grep -rl name_of_spider .
./bot/spiders/vendors/name_of_spider.py
(env) MacBook-Air:scrapy_project username$ scrapy crawl na
浏览 0提问于2020-05-05得票数 0
1回答
通过pika，我从rabbitmq获取url，并尝试为Scrapy spider创建新请求。
当我用scrapy crawl spider启动我的爬行器时，我不会因为raise DontCloseSpider()而关闭，但也不会为爬行器创建一个请求
我的自定义异常：
import pika
from scrapy import signals
from scrapy.http import Request
from scrapy.exceptions import DontCloseSpider
class AddRequestExample:
def __init__(self
浏览 1提问于2020-06-05得票数 0
我正在用Scrapy测试抓取网页。我不能抓取我想要的页面，我也找不到原因。有人能解决我的问题吗？
附注：对于某人的提醒，上一个网页显示了一个错误。我已经改变了路径。
total_corner_spider.py
name = "totalcorner"
allowed_domains = ["totalcorner.com"]
start_urls = [
"http://www.totalcorner.com/match/corner_stats/57868009",
]
def parse(self, response):
浏览 121提问于2016-08-17得票数 0
我正在尝试编写我的第一个抓取蜘蛛，我一直在上的教程，但我得到一个错误"KeyError：‘蜘蛛找不到：“
我想我是从正确的目录(包含scrapy.cfg文件的那个目录)运行该命令的。
(proscraper)#( 10/14/14@ 2:06pm )( tim@localhost ):~/Workspace/Development/hacks/prosum-scraper/scrapy
tree
.
├── scrapy
│ ├── __init__.py
│ ├── items.py
│ ├── pipelines.py
│ ├── settings.py
│
浏览 2提问于2014-10-14得票数 6
回答已采纳
我收到多个导入错误。我的目录看起来是这样的：
scraping
└── tool_scrapy
├── __init__.py
├── items.py
├── middlewares
├── * other scrapy files *
└── spiders
├── my_spider.py
└── run_my_spider.py
run_my_spider.py
from __future__ import absolute_import
from scrapy.crawler import CrawlerProces
浏览 1提问于2020-11-21得票数 0
场景：
有多个蜘蛛的单个刮擦项目。
所有的蜘蛛都是从剧本里跑来的。
发行：
所有日志消息都位于同一个命名空间中。不可能知道哪条信息属于哪只蜘蛛。
在scrapy 0.24中，我在一个脚本中运行了多个蜘蛛，我得到了一个日志文件，其中包含与其蜘蛛相关的消息，类似于以下内容：
2015-09-30 22:55:12-0400 [scrapy] INFO: Scrapy 0.24.5 started (bot: mybot)
2015-09-30 22:55:12-0400 [scrapy] DEBUG: Enabled extensions: LogStats, ...
浏览 3提问于2016-02-26得票数 2
回答已采纳
1回答
我正在学习Scrapy现在，并建立一个非常基本的蜘蛛通过一个教程。
但是运行蜘蛛scrapy crawl quotes -o results_file.csv，它只返回一个空的csv文件。
它还说它爬行了0网站，所以它似乎找不到网页？
我正在使用Windows 10家庭
我检查了xpath表达式，splash正在运行http://localhost:8050/。
我知道我错过了一些很简单的东西..。你能帮忙吗？
我把这个放进了settings.py
DOWNLOADER_MIDDLEWARES = {
'scrapy_splash.SplashCookiesMiddle
浏览 6提问于2022-01-02得票数 1
我在Windows 10上使用Visual代码开发了一个Splash刮刀。
当我像这样在没有runner.py文件的情况下运行刮板时，它可以工作，并生成刮过的内容int "out.json"：scrapy crawl mytest -o out.json
但是，当我运行刮板时(无论是在Visual代码中使用此runner.py文件进行调试，它都会在execute行上失败(下面的完整代码)：
Exception has occurred: ReactorNotRestartable
exception: no description
File "C:\scrapy\h
浏览 3提问于2021-11-15得票数 0
1回答
在正确打印XML文件时，我遇到了一个问题，但是它没有用任何内容填充XML文件。
终端的输出如下：
[u'Tove'] [u'Jani'] [u'Reminder'] [u"Don't forget me this weekend!"]
但是，输出site_products.xml会导致这样的结果(这是错误的，没有数据)：
<?xml version="1.0" encoding="utf-8"?>
<items></items>
spider.py
fro
浏览 3提问于2015-04-24得票数 1
回答已采纳
我正在尝试弄清楚如何预先检查项目是否已经存在于要导出的csv文件的行中。如果该项不存在，则需要追加该项。否则，该项目应被丢弃。到目前为止，我已经在项目管道中完成了以下操作，但它不起作用，因为它无论如何都会附加到csv文件中。
我的Pipelines.py：
from scrapy import signals
from scrapy.contrib.exporter import CsvItemExporter
import csv
class BlogscrapePipeline(object):
def __init__(self):
self.files =
浏览 1提问于2018-03-23得票数 1
我按照教程制作了一个网络刮刀。
概述：-
创建病毒环境(virtualenv .)
激活它(.\Scripts\activate)
scrapy.cfg所在的dir (cd quotetutorial)
创建quotes_spider.py
执行scrapy crawl quotes和scrapy genspider quotes quotes.toscrape.com并获得相同的错误
spider_quotes.py文件内容：-
class QuoteSpider(scrapy.Spider):#inheriting from class scrapy from
浏览 3提问于2021-06-06得票数 1
1回答
这是我的第一个蜘蛛密码。当我在cmd中执行这段代码时。日志显示urls甚至没有被爬行，并且其中没有调试消息。在任何地方都找不到解决这个问题的办法。我不明白是怎么回事。有人能帮我做这个吗。
我的代码：
import scrapy
class QuotesSpider(scrapy.Spider):
name = "quotes_spider"
def start_request(self):
urls = ["http://quotes.toscrape.com/page/1/",
"h
浏览 1提问于2021-06-19得票数 1
回答已采纳
2回答
我看到了，也看到了，但没有提到信号。
这是我到目前为止所拥有的代码：
import sqlite3
import datetime
from scrapy import signals
from scrapy.xlib.pydispatch import dispatcher
from scrapy import log
class Sqlite3StorePipeline(object):
def __init__(self):
print 'wtf'
dispatcher.connect(self.open_spider, sign
浏览 1提问于2012-10-09得票数 0
当我尝试在docker-debian中运行scrapy spider时，每次我得到一个错误：
文件"/usr/local/lib/python3.6/site-packages/scrapy/crawler.py"，第82行，在爬网输出self.engine.open_spider(self.spider，start_requests) builtins.ModuleNotFoundError中:没有名为'_sqlite3‘的模块
python版本3.6.3
scrapy 1.6.0
此post - 中的已尝试说明仍会看到此错误。
当在终端中输入sqlite3命令时，会
浏览 4提问于2019-03-29得票数 3
我有一个蜘蛛，我试图运行在实际的网站上，我试图抓取，但我一直得到502坏网关，这让我认为我被禁止。作为一个测试，我在http://quotes.toscrape.com/上使用了下面的代码，我仍然得到502坏网关！不用说，我从来没有读到过“我们做到了”这一行。我正在使用Scrapy-Splash帮助！ 注意:代理中间件与我的其他爬行器工作得很好，所以我不认为有任何问题。此外，我可以使用splash web界面渲染所有内容。 蜘蛛： import scrapy
from scrapy_splash import SplashRequest
LUA_SCRIPT = ""
浏览 168提问于2020-07-24得票数 1
我试图改变Scrapy的统计中间件。
以下是Scrapy的stats.py全文：
from scrapy.exceptions import NotConfigured
from scrapy.utils.request import request_httprepr
from scrapy.utils.response import response_httprepr
class DownloaderStats(object):
def __init__(self, stats):
self.stats = stats
@classmethod
浏览 12提问于2013-08-27得票数 1
回答已采纳
1回答
Cloudflare刮伤
、、、
我试图使用Cloudflare使用Scrapy抓取一个URL，但是我无法获得任何结果：
2018-07-09 22:14:00 [scrapy.core.engine] INFO: Spider opened
2018-07-09 22:14:00 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2018-07-09 22:14:00 [scrapy.extensions.httpcache] DEBUG: Using filesystem
浏览 1提问于2018-07-09得票数 3
我怎么能连续运行两个爬虫呢？运行此命令将运行第一个爬行器，但不运行第二个爬行器。有没有办法等一个人完成？：
from scrapy import cmdline
cmdline.execute("scrapy crawl spider1".split())
cmdline.execute("scrapy crawl spider2".split())
Edit1:我使用.wait()将其更改为：
spider1 = subprocess.Popen(cmdline.execute("scrapy crawl spider1".split())
浏览 1提问于2015-05-22得票数 0
我每天通过詹金斯运行scrapy，我希望通过电子邮件将例外情况发送给我。
这是一个例子蜘蛛：
class ExceptionTestSpider(Spider):
name = 'exception_test'
start_urls = ['http://google.com']
def parse(self, response):
raise Exception
这是.Jenkinsfile
#!/usr/bin/env groovy
try {
node ('jenkins-small-py3.6&
浏览 0提问于2019-08-22得票数 2
回答已采纳
1回答
我有scrapyVersion1.4和python3。
File "script.py", line 2, in <module>
from scrapy import Spider
ModuleNotFoundError: No module named 'scrapy'
然而，进口额低于
from __future__ import absolute_import
from scrapy import Spider
from scrapy.selector import Selector
from stack.items import S
浏览 0提问于2017-11-05得票数 0
回答已采纳
我有抓取网站的抓取代码。我的代码如下。
from scrapy.spider import Spider
from scrapy.selector import Selector
class JustASpider(Spider):
name = "googlespider"
allowed_domains=["google.com"]
start_urls = ["http://www.google.com/search?hl=en&q=search"]
def parse(self, respon
浏览 1提问于2019-11-04得票数 0
2回答
我在一个文件里写了两只蜘蛛。当我运行scrapy runspider two_spiders.py时，只执行了第一个蜘蛛。如何在不将文件拆分为两个文件的情况下运行这两个文件。
two_spiders.py：
import scrapy
class MySpider1(scrapy.Spider):
# first spider definition
...
class MySpider2(scrapy.Spider):
# second spider definition
...
浏览 13提问于2016-03-23得票数 3
回答已采纳
8回答
我是Scrapy的新手，我正在寻找一种从Python脚本运行它的方法。我找到了两个来源来解释这一点：
我不知道我应该把爬虫代码放在哪里，也不知道如何从main函数调用它。请帮帮忙。以下是示例代码：
# This snippet can be used to run scrapy spiders independent of scrapyd or the scrapy command line tool and use it from a script.
#
# The multiprocessing library is used in order to work around a b
浏览 0提问于2012-11-18得票数 82
我正在尝试制作一个simpe tumblr机器人来抓取tumblr博客的所有图片。现在，蜘蛛能找到像头像和图标这样的东西，但找不到它们自己的帖子。
settings.py
BOT_NAME = 'tumblr'
SPIDER_MODULES = ['tumblr.spiders']
NEWSPIDER_MODULE = 'tumblr.spiders'
ITEM_PIPELINES = {'scrapy.pipelines.images.ImagesPipeline': 1}
IMAGES_STORE = 'C:\Use
浏览 0提问于2015-10-21得票数 0
3回答
我一直在尝试遵循Scrapy教程(正如在非常开始的时候)，并且在项目顶层(即使用scrapy.cfg的级别)运行命令之后，我得到以下输出：
mikey@ubuntu:~/scrapy/tutorial$ scrapy crawl dmoz
/usr/lib/pymodules/python2.7/scrapy/settings/deprecated.py:26: ScrapyDeprecationWarning: You are using the following settings which are deprecated or obsolete (ask scrapy-users@go
浏览 3提问于2014-01-26得票数 1
回答已采纳
请有人帮助我找到exceptions.ImportError的解决方案:没有代码抛出的名为middlewares的模块。
我的文件夹结构是：
这是我的DOWNLOADER_MIDDLEWARES in settings.py：
DOWNLOADER_MIDDLEWARES = {
'IpRotation.middlewares.MyCustomDownloaderMiddleware': 543,
'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': None,
浏览 0提问于2015-10-12得票数 0
我试图在单独的脚本中执行抓取爬行器，当我在循环中执行这个脚本时(例如，用不同的参数运行相同的爬行器)，我得到ReactorAlreadyRunning。我的代码片段：
from celery import task
from episode.skywalker.crawlers import settings
from multiprocessing.queues import Queue
from scrapy import log, project, signals
from scrapy.settings import CrawlerSettings
from scrapy.spider
浏览 0提问于2013-05-24得票数 2
回答已采纳
我安装了scrapy，并创建了一个蜘蛛，当从命令行运行时，它可以使用命令scrapy。我的问题是，当某些特定的事情发生时，我需要从另一个脚本运行蜘蛛。我有一个单独的python脚本，这只是一个测试，但它试图按行运行蜘蛛：
execfile("../scrapy/data_spider/data_spider/spiders/getBUCPower.py")
当我运行该脚本时，我立即得到错误：
文件"getBUCPower.py"，第2行，在
进口刮伤
ImportError:没有名为scrapy的模块
当我运行抓取爬行命令时，我已经正确安装了scrapy
浏览 7提问于2019-08-01得票数 0
2回答
scrapy项目的通用爬行器
、、、、
我正在为多个网站创建通用蜘蛛(抓取蜘蛛)。下面是我的项目目录结构。
myproject <Directory>
--- __init__.py
--- common.py
--- scrapy.cfg
--- myproject <Directory>
---__init__.py
---items.py
---pipelines.py
---settings.py
---spiders <Directory>
---__init__.py
---spider.py
浏览 1提问于2013-08-05得票数 1
1回答
尝试在虚拟环境下使用crontab运行scrapy crawl命令，从cron job运行scrapy命令时出现以下错误-
UserWarning: Cannot import scrapy settings module myspider.settings warnings.warn("Cannot import scrapy settings module
%s" % scrapy_module)
.....
raise KeyError("Spider not found: %s" % spider_name) KeyE
浏览 3提问于2012-09-13得票数 3
回答已采纳
1回答
我不得不尝试这段代码
import scrapy
from scrapy.cmdline import execute
from scrapy.spider import BaseSpider
from scrapy.selector import HtmlXPathSelector
from metacritic.items import MetacriticItem
class MetacriticSpider(scrapy.spider):
name = "metacritic" # Name of the spider, to be used when crawling
浏览 0提问于2016-06-22得票数 0
我正在学习如何在scrapy中使用splash。我正在做这个教程：。
我已经创建了一个scrapy项目。当我运行时：
$ scrapy crawl spider1
一切都很好。但是，当我添加到我的settings.py文件时：
DOWNLOADER_MIDDLEWARES = {
'scrapy_splash.SplashCookiesMiddleware': 723,
'scrapy_splash.SplashMiddleware': 725,
'scrapy.downloadermiddlewares.httpcompression.HttpComp
浏览 19提问于2017-01-11得票数 0
我遇到了这样的情况:当从命令行使用我的scrapy代码时运行良好，但是当我在部署( scrapyd )和使用scrapyd进行调度之后使用相同的蜘蛛时，它会在"scrapy.extensions.feedexport.FeedExporter“类中抛出错误。
一是初始化"open_spider“信号时
二是初始化"item_scraped“信号和
最后一次"close_spider“信号
1."open_spider“信号误差
2016-05-14 12:09:38 [scrapy] INFO: Spider opened
2016-
浏览 3提问于2016-05-14得票数 4
在完成正式任务后，我决定尝试在同一个项目中建造自己的蜘蛛。我在蜘蛛中创建了parker_spider.py，它包含：
start_urls = [
"myurl"
]
class Parker_Spider(scrapy.Spider):
name = "parker"
def make_requests(self):
for i in range(self.max_id):
yield Request('myurl', method="post",
浏览 4提问于2016-05-26得票数 5
回答已采纳
2回答
这是我第一次尝试Python和Scrapy。
我使用以下命令在名为scrapy-env的虚拟环境中安装了Scrapy：
pip install virtualenv
virtualenv `scrapy-env`
cd `scrapy-env`
pip install scrapy
现在，我正在尝试编写我的第一个Python文件，它是一个蜘蛛，我在下面的路径下创建了一个名为spider1.py的文件：
~/scrapy-env/spider_practice/spider_practice/spiders/spider1.py
我使用的是吡喃编辑器，它抱怨没有安装Scrapy包：
如
浏览 1提问于2020-06-10得票数 1
from scrapy import project, signals
from scrapy.crawler import Settings
from scrapy.crawler import CrawlerProcess
from scrapy.xlib.pydispatch import dispatcher
from multiprocessing.queues import Queue
import multiprocessing
class CrawlerWorker(multiprocessing.Process):
def __init__(self, spide
浏览 0提问于2013-04-09得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议活动推荐
腾讯云开发者
