为什么scrapy crawler只能在flask应用中运行一次？
Scrapy是一个用于爬取网页数据的Python框架，而Flask是一个用于构建Web应用的Python框架。在给出答案之前，需要明确一点：Scrapy Crawler并不仅限于在Flask应用中运行一次，它可以在任何Python应用中运行多次。
然而，可能会有一些误解导致这个问题的提出。下面我将解释一下可能导致这种误解的原因：
- Flask应用的生命周期：Flask应用是一个基于请求-响应模型的Web应用，它通常在每个请求到达时创建一个应用实例，并在请求处理完成后销毁。这意味着每次请求都会创建一个新的Flask应用实例，而Scrapy Crawler通常需要在应用启动时初始化，并在整个应用生命周期内保持运行状态。因此，如果将Scrapy Crawler直接嵌入到Flask应用中，它将在每个请求到达时重新初始化，导致无法正常工作。
- 异步性质：Scrapy是一个异步的爬虫框架，它使用了Twisted库来实现异步网络通信。而Flask默认是基于同步的模型，它使用了WSGI来处理请求。这两种模型的异步性质不兼容，直接在Flask应用中运行Scrapy Crawler可能会导致阻塞或无法正常工作。
基于以上原因，通常建议将Scrapy Crawler与Flask应用分开部署，以确保它们能够独立运行并正常工作。可以考虑以下解决方案：
- 将Scrapy Crawler部署为独立的后台任务：可以使用Celery等任务队列工具将Scrapy Crawler作为独立的后台任务运行，通过消息队列与Flask应用进行通信，实现数据的爬取和处理。
- 使用分布式爬虫架构：可以将Scrapy Crawler部署为分布式爬虫，通过分布式任务调度和数据存储，实现高效的数据爬取和处理。这样可以将爬虫与Flask应用完全解耦，使它们能够独立运行。
总结起来，Scrapy Crawler并不仅限于在Flask应用中运行一次，但直接在Flask应用中运行可能会导致一些问题。为了确保Scrapy Crawler能够正常工作，建议将其与Flask应用分开部署，并采用合适的解决方案来实现数据的爬取和处理。
相关·内容
1回答
我正在开发一个使用和的应用程序。当我的应用程序的根URL被访问时，它会处理一些数据并显示出来。此外，如果蜘蛛还没有运行，我还想重新启动它。因为我的爬行器需要大约1.5个小时才能完成运行，所以我使用作为后台进程运行它。下面是一个很小的例子(您还需要)：
import os
from flask import Flask, render_template
import threading
from twisted.internet import reactor
from scrapy import log, signals
from scrapy.crawler import Crawler
fr
浏览 1提问于2014-03-20得票数 6
回答已采纳
我正在heroku上运行一个heroku蜘蛛。这是我的requirements.txt
Flask==0.10.1
gunicorn==0.17.2
requests==2.4.3
python-dateutil==2.2
cffi==1.5.0
Scrapy==1.0.5
Twisted==15.5.0
当我将应用程序推到heroku上时，日志显示Twisted已经成功安装。在我的代码中有一些地方：
import scrapy
from scrapy.crawler import CrawlerProcess
def crawl():
process = CrawlerProces
浏览 0提问于2016-02-24得票数 0
回答已采纳
当我从命令行“一次性”运行Scrapy脚本时，它似乎工作得很好，但如果我尝试在同一python会话中运行代码两次，我会收到以下错误：
"ReactorNotRestartable“
为什么？
有问题的代码(最后一行抛出错误)：
crawler = CrawlerProcess(settings)
crawler.install()
crawler.configure()
# schedule spider
#crawler.crawl(MySpider())
spider = MySpider()
crawler.queue.append_spider(spider)
# star
浏览 0提问于2011-11-03得票数 10
回答已采纳
1回答
我想在最后一只蜘蛛和现在的蜘蛛之间保存一些信息。为了实现这一点，我找到了由scrapy支持的。我的代码如下：
class StatsSpider(Spider):
name = 'stats'
def __init__(self, crawler, *args, **kwargs):
Spider.__init__(self, *args, **kwargs)
self.crawler = crawler
print self.crawler.stats.get_value('last_visited_u
浏览 0提问于2015-08-07得票数 4
当运行我的flask应用程序时，它使用Python子进程在这里指定的flask应用程序()中使用scrapy，并调用在flask应用程序中指定的适当端点时，我收到错误消息: ERR_EMPTY_RESPONSE。在我的docker容器(python app.py，其中有我的flask代码)之外执行flask应用程序，一切都按预期工作，并且我的爬行器是使用flask应用程序中的子进程调用的。
我没有使用flask & subprocess在web应用程序中调用我的爬行器，而是尝试使用twisted & twisted-klein python库，与从docker Containe
浏览 0提问于2019-08-14得票数 0
3回答
在Scrapy中几乎没有并发设置，比如。这是否意味着Scrapy crawler是多线程的？所以如果我运行scrapy crawl my_crawler，它会同时并行地触发多个请求吗？我问这个是因为，我读到过Scrapy是单线程的。
浏览 0提问于2014-07-15得票数 17
我正试图在微软Azure Web应用程序上运行Scrapy或Portia。我通过创建虚拟环境安装了Scrapy：
D:\Python27\Scripts\virtualenv.exe D:\home\Python
然后安装Scrapy：
D:\home\Python\Scripts\pip install Scrapy
这个装置似乎起作用了。但是执行一个蜘蛛会返回以下输出：
D:\home\Python\Scripts\tutorial>d:\home\python\scripts\scrapy.exe crawl example 2015-09-13 23:09:31 [scrapy]
浏览 1提问于2015-09-13得票数 1
我想使用peewee将我的数据保存到远程机器上。当我运行我的爬虫程序时，我发现了以下错误，
File "/usr/local/lib/python2.7/site-packages/scrapy/commands/crawl.py", line 57, in run
self.crawler_process.crawl(spname, **opts.spargs)
File "/usr/local/lib/python2.7/site-packages/scrapy/crawler.py", line 163, in crawl
return
浏览 1提问于2017-04-15得票数 0
我的Scrapy在我的本地机器Windows上运行得很好。然后我尝试在我的AWS Linux服务器上运行它，但我得到了以下结果
Traceback (most recent call last):
File "run<spider_name>.py", line 12, in <module>
spider_name).split())
File "/usr/lib/python2.7/site-packages/scrapy/cmdline.py", line 142, in execute
_run_print
浏览 12提问于2017-02-17得票数 0
回答已采纳
2回答
我一直在尝试从python脚本文件运行scrapy，因为我需要获取数据并将其保存到我的数据库中。但是当我用scrapy命令运行它时
scrapy crawl argos
该脚本运行良好，但当我尝试使用脚本运行它时，请使用以下链接
http://doc.scrapy.org/en/latest/topics/practices.html#run-scrapy-from-a-script
我得到了这个错误
$ python pricewatch/pricewatch.py update
Traceback (most recent call last):
File "pricewatc
浏览 1提问于2014-05-10得票数 1
我把我的vps服务器从centos到ubuntu。因为社区(天啊，我要问那个社区)。
我的便携副总裁做得很好，像这样：
01 22 * * * source /home/crawler2/env/bin/activate && cd /home/crawler2/project_spiderrooy && scrapy crawl spiderrooy > /home/crawler2/logs/spiderrooy_log_$(date '+\%Y-\%m-\%d').txt 2>&1
在我的ubuntu vps上试了一下，
浏览 0提问于2018-01-13得票数 0
回答已采纳
1回答
我在PythonAnywhere.com ( PA )上部署了一个scrappy/flask项目，该项目在我的本地机器上工作，几乎完全在PA上工作。我的问题是，当我计划一个任务来运行我的爬行器时，没有启用任何管道。这显然是一个问题，因为我的MongoDB和图像管道不会更新。关于我为什么会有这个问题以及如何解决这个问题，你有什么想法吗？我能够查询MongoDB，并且我的站点呈现了预期的效果，只是在爬行过程中没有启用管道，所以我留下了一个过时的站点。仔细检查后，crawler似乎使用了不正确的bot。查看以下输出；第一个来自我的本地计算机，第二个来自PA： 正确-我的本地机器： 2019-03-
浏览 21提问于2019-03-17得票数 2
回答已采纳
1回答
我是新来姜戈的。我正在尝试通过django视图运行我的抓取爬行器。当我通过命令提示符运行时，我的scrapy代码运行得很好。但是当我尝试在django上运行它时，它失败了。错误消息: signal只在主线程中工作。
django视图中的代码(如下所示)
from twisted.internet import reactor
from scrapy.crawler import Crawler
from scrapy.crawler import CrawlerProcess
from scrapy import log, signals
from Working.spiders.workSp
浏览 1提问于2016-03-10得票数 23
我试着运行多个爬虫，就像中说的那样。脚本是通过调用scrapy crawl crawler运行的。
现在，通过python crawler.py调用它，我得到了以下错误：
从crawler.items导入LinkItem
ModuleNotFoundError:没有名为“爬行器”的模块；“爬虫”不是一个包
import scrapy
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor
from scrapy.crawler import CrawlerP
浏览 3提问于2017-09-28得票数 1
回答已采纳
1回答
我已经编写了这个脚本来调用多个爬虫。它可以很好地处理单个爬行器，但不能处理多个爬行器。我是Scrapy的新手。
import sys
import os
c=os.getcwd()
os.chdir("myweb")
d=os.getcwd()
os.chdir(c)
sys.path.insert(0, d)
import os
os.environ['DJANGO_SETTINGS_MODULE'] = 'myweb.settings'
from twisted.internet import reactor
from scrapy.craw
浏览 1提问于2013-10-29得票数 2
crawler在命令行中运行良好，并显示以下错误：
2016-03-30 03:47:59 [scrapy] INFO: Scrapy 1.0.5 started (bot: scrapybot)
2016-03-30 03:47:59 [scrapy] INFO: Optional features available: ssl, http11
2016-03-30 03:47:59 [scrapy] INFO: Overridden settings: {'USER_AGENT': 'Mozilla/4.0 (compatible; MSIE 7.0; Window
浏览 3提问于2016-03-30得票数 5
我试图在Windows10上学习BashOnUbunty上的Scrapy，我使用gen蜘蛛命令创建了一个蜘蛛(yelprest)，然后通过创建蜘蛛文件(遵循官方教程)直接创建了另一个蜘蛛(quotes_spider)。
第一个蜘蛛还没有测试，但是我试着用第二个蜘蛛来完成教程，当我尝试运行时，我得到了一个指向第一个蜘蛛的错误。此外，当我尝试运行任何其他刮取命令(如version )时，我会得到与上面相同的错误。以下是错误：
(BashEnv) root > scrapy version
Traceback (most recent call last):
File "/mnt/
浏览 2提问于2017-10-30得票数 0
回答已采纳
2回答
我想每120秒钟运行一次python代码。
我试过这个：
class AppServerSvc :
def f(self):
# call f() again in 120 seconds
spider = FantasySerieaSpider()
settings = get_project_settings()
crawler = Crawler(settings)
crawler.signals.connect(reactor.stop, signal=signals.spider_closed)
浏览 4提问于2014-05-09得票数 0
回答已采纳
我正在做一个应用程序项目，允许用户在输入一组关键字后获得网页搜索结果，这些关键字将被发送给询问者。为此，我在的下面这篇文章的启发下，用烧瓶创建了一个api。但是，api无法工作，因为我无法将用作关键字的数据从api传递到刮板。下面是我的烧瓶api文件：
import crochet
crochet.setup()
from flask import Flask , render_template, jsonify, request, redirect, url_for
from scrapy import signals
from scrapy.crawler import CrawlerR
浏览 7提问于2022-06-16得票数 0
我正在尝试创建一个Scrapy自定义项目命令来运行蜘蛛。我找到了并做了以下工作：
mkdir commands
cd commands
创建命令文件crawlall.py：
从scrapy.commands导入ScrapyCommand从scrapy.utils.project导入get_project_settings从scrapy.crawler导入Crawler类命令(ScrapyCommand)：requires_project = True def语法(Self)：返回‘选项’def short_desc(self)：返回‘运行所有蜘蛛的def运行(self，args，选
浏览 2提问于2015-06-15得票数 2
2回答
从Python运行的刮伤
、、、
我试图从Python中运行Scrapy。我正在看这段代码，其中()：
from twisted.internet import reactor
from scrapy.crawler import Crawler
from scrapy.settings import Settings
from scrapy import log
from testspiders.spiders.followall import FollowAllSpider
spider = FollowAllSpider(domain='scrapinghub.com')
crawler = Crawl
浏览 8提问于2013-08-07得票数 3
回答已采纳
1回答
我正在尝试从python脚本运行爬行器，下面是一个抓取的文档：
from twisted.internet import reactor
from scrapy.crawler import Crawler
from scrapy import log, signals
from testspiders.spiders.followall import FollowAllSpider
from scrapy.utils.project import get_project_settings
spider = FollowAllSpider(domain='scrapinghub.co
浏览 2提问于2014-04-17得票数 0
我正尝试在我的pipelines.py中导入一个django应用程序的模型，以便使用django orm保存数据。我在第一个涉及到的django应用程序"app1“中创建了一个scrapy_project项目(顺便说一句，这是一个好选择吗？)。我在我的scrapy设置文件中添加了以下行：
def setup_django_env(path):
import imp, os
from django.core.management import setup_environ
f, filename, desc = imp.find_module('settings
浏览 2提问于2013-03-10得票数 4
回答已采纳
我可以使用CrawlerRunner或CrawlerProcess从另一个Python脚本中调用一个刮伤蜘蛛。但是，当我试图从pywikibot机器人调用同一个蜘蛛调用类时，我会得到一个ReactorNotRestartable错误。这是为什么，我怎么能修好它？
以下是错误：
File ".\scripts\userscripts\ReplicationWiki\RWLoad.py", line 161, in format_new_page
aea = AEAMetadata(url=DOI_url)
File ".\scripts\userscrip
浏览 1提问于2019-11-03得票数 0
回答已采纳
有人能给我解释一下Scrapy中的暂停/恢复功能是如何工作的吗？
我使用的scrapy版本是0.24.5
没有提供太多细节。
我有以下简单的爬虫：
class SampleSpider(Spider):
name = 'sample'
def start_requests(self):
yield Request(url='https://colostate.textbookrack.com/listingDetails?lst_id=1053')
yield Request(url='https://colostate
浏览 0提问于2015-03-04得票数 8
我写了一些蜘蛛，我试图部署在刮刮中心。我做了：
shub login
shub deploy
我认为发生以下错误是因为我的蜘蛛是用Python3.7.3编写的，而scraping使用的是Python2.7。是否有办法按原样部署它，还是需要将代码转换为“运行”python 2.7？
注意:错误在print中(我可以很容易地删除)，但在许多情况下，我确实在填充已擦伤的项时使用了f"{}"。
由此产生的错误：
Deploying to Scrapy Cloud project "55555" Deploy log last 30 lines:
浏览 4提问于2019-10-27得票数 0
1回答
我有更多的统计数据比日志记录成功芹菜任务，为什么？这是否意味着我的一些旧任务没有被消灭？
我在芹菜工人日志文件中有以下8行日志：
Task track_new_items[<id>] succeeded in <time>s: None
但我有以下19句话：
[scrapy.statscollectors] INFO: Dumping Scrapy stats:
<stats_dict>
每次蜘蛛关闭时都会发送这些日志。
我通过以下代码运行任务：
from billiard.context import Process
from scrapy.crawler
浏览 1提问于2021-03-23得票数 0
回答已采纳
2回答
我正在尝试使用的一个非常简单的演示程序对Scrapy进行我的第一个抓取操作，我得到了一个未加载的ImportError: Library，如下所示。
gchrist1$ scrapy crawl dmoz
2015-12-20 17:48:33 [scrapy] INFO: Scrapy 1.0.3 started (bot: scrapybot)
2015-12-20 17:48:33 [scrapy] INFO: Optional features available: ssl, http11, boto
2015-12-20 17:48:33 [scrapy] INFO: Over
浏览 8提问于2015-12-21得票数 2
当我的爬虫到达超过当前计时器运行的20秒时，我想暂停所有请求几秒钟。然后让它像往常一样继续，直到完成。
我发现我当前的脚本没有实现暂停，蜘蛛也像往常一样继续，我如何使它有效地工作？
import scrapy
from scrapy import signals
import datetime
from twisted.internet import defer
from twisted.internet import defer
class TestSpider(scrapy.Spider):
name = 'signal'
start_urls = sta
浏览 2提问于2022-07-06得票数 0
我目前正在跟踪官方文档和Youtube视频，用Scrapy和它们的splash呈现服务来抓取javascript页面。
我在我的Mac上安装了Docker，并按照正式的文档说明运行它：
docker run -p 8050:8050 -p 5023:5023 scrapinghub/splash
然后，我从Youtube视频中摘取了这个演示代码：
import scrapy
from scrapy_splash import SplashRequest
class Demo_js_pider(scrapy.Spider):
name = 'jsdemo'
浏览 0提问于2018-05-11得票数 0
回答已采纳
我试图使用CrawlerProcess同时运行多个Scrapy蜘蛛，但不确定文件结构。当通过scrapy crawl indeed和scrapy crawl monster (我的蜘蛛类的指定名称)单独运行时，这两个蜘蛛都正常工作。
我目前的文件结构如下：
- scrapy
- tutorial
- spiders
- __init__.py
- indeed_spider.py
- monster_spider.py
- __init__.py
- crawler.py
- functions.py
- item
浏览 5提问于2020-04-28得票数 0
from scrapy import project, signals
from scrapy.crawler import Settings
from scrapy.crawler import CrawlerProcess
from scrapy.xlib.pydispatch import dispatcher
from multiprocessing.queues import Queue
import multiprocessing
class CrawlerWorker(multiprocessing.Process):
def __init__(self, spide
浏览 0提问于2013-04-09得票数 1
回答已采纳
在不同的REsale、REbuy和RErent项目中，我有三个不同的蜘蛛，每个蜘蛛都有自己的管道，将它们的输出定向到服务器上的各种MySQL表。当使用scrapy crawl调用时，它们都运行正常。最终，我想要一个脚本，它可以作为一个服务运行在我的windows 7机器上，它可以以不同的时间间隔运行蜘蛛。自动取款机，我卡在擦伤的API上了。我甚至不能让它运行一个蜘蛛！有什么特别的地方需要保存吗？目前，它就在我的根目录python中。Sale，Buy和Rent是蜘蛛的名字，我用scrapy crawl和sale_spider等名字来称呼蜘蛛的.py文件。
from twisted.interne
浏览 3提问于2013-11-10得票数 0
回答已采纳
2回答
我一直在尝试使用django和djangoitem设置一个抓取蜘蛛。当我尝试运行爬行器时，item.py总是无法导入django应用程序的模型。
我创建了一个fresh django网站，并按照的说明进行了操作，但我仍然无法从我的应用程序中导入模型。我想所有的东西都按照那个线程中的说明设置好了(除了我把东西叫做testsite而不是mysite，等等)。但如果有人认为它可能会有帮助，我会发布代码的。
运行scrapy crawl example时的回溯
Traceback (most recent call last):
File "/usr/bin/scrapy", li
浏览 0提问于2014-08-29得票数 2
2回答
在循环中运行刮擦任务
、、、
我有这样的代码：
from logging import INFO
import scrapy
class LinkedInAnonymousSpider(scrapy.Spider):
name = "linkedin_anonymous"
allowed_domains = ["linkedin.com"]
start_urls = []
base_url = "https://www.linkedin.com/pub/dir/?first=%s&l
浏览 2提问于2015-12-21得票数 1
回答已采纳
2回答
目前，我正试图在Google函数中运行。
from flask import escape
from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings
def hello_http(request):
settings = get_project_settings()
process = CrawlerProcess(settings)
process.crawl(BlogSpider)
process.start()
浏览 2提问于2020-03-21得票数 4
回答已采纳
我使用pip安装scrapy，使用Homebrew在我的mac上安装OpenSSL。
在Python中导入scrapy并运行scrapy --version是可以的，但是运行scrapy项目会导致以下错误：
Traceback (most recent call last):
File "search.py", line 94, in <module>
setup_crawler(spider_name, 0, keywords)
File "search.py", line 58, in setup_crawler
craw
浏览 1提问于2016-02-28得票数 0
1回答
我想从我的脚本中运行Scrapy，但它只适用于一个请求。我无法从self.parse_product执行scrapy.http.Request(product_url, callback=self.parse_product)过程。
我想这应该是命令crawler.signals.connect(callback, signal=signals.spider_closed)的原因。请告知如何正确浏览所有链接和子链接.
整个脚本如下所示。
import json
import scrapy
from scrapy.crawler import Crawler
from scrapy.contr
浏览 2提问于2015-06-16得票数 0
回答已采纳
2回答
API应该允许包含用户希望刮取的URL的任意HTTP请求，然后Flask应该返回刮取的结果。
下面的代码适用于第一个http请求，但是在扭曲的反应堆停止后，它不会重新启动。我甚至可能不会这样做，但我只想在Heroku上安装一个RESTful擦伤API，到目前为止，我所能想到的就是。
有更好的方法来架构这个解决方案吗？或者我如何允许scrape_it在不停止扭曲的反应堆(不能再次启动)的情况下返回？
from flask import Flask
import os
import sys
import json
from n_grams.spiders.n_gram_spider import
浏览 9提问于2015-09-22得票数 10
回答已采纳
我想使用AWS Lambda刮一个网站。爬虫代码在Python中，并使用Pip提供的Scrapy库。
要运行lambda函数，我必须在公共Amazon版本-amzn hvm-2017.03.1.20170812-x86_64-GP2中创建依赖关系的压缩(此处仅为scrapy)，按照，添加lambda函数并上传它以创建lambda函数。
现在，当我调用lambda函数时，它会给出以下错误：
cannot import name certificate_transparency: ImportError
Traceback (most recent call last):
File "
浏览 3提问于2017-12-28得票数 2
为什么HttpCachedMiddleware需要scrapy.cfg，我是如何解决这个问题的？
我使用scrapyd-deploy构建鸡蛋，并将项目部署到scrapyd。
当作业运行时，我从日志输出中看到，由于找不到HttpCacheMiddleware，所以禁用了scrapy.cfg。
2014-06-08 18:55:51-0700刮擦警告:禁用HttpCacheMiddleware:无法找到scrapy.cfg文件来推断项目数据dir
我检查了egg文件，scrapy.cfg确实不在那里，因为鸡蛋文件仅由项目目录中的文件组成。我可能错了，但我认为鸡蛋的构造是正确的。
foo/
浏览 2提问于2014-06-09得票数 3
回答已采纳
遵循，我可以从Python脚本运行scrapy，但我无法获得scrapy结果。
这是我的蜘蛛：
from scrapy.spider import BaseSpider
from scrapy.selector import HtmlXPathSelector
from items import DmozItem
class DmozSpider(BaseSpider):
name = "douban"
allowed_domains = ["example.com"]
start_urls = [
"http
浏览 1提问于2013-07-10得票数 6
回答已采纳
1回答
不能爬行
、、
我试图抓取一些网站使用刮刮。下面是一个示例代码。方法解析没有被调用。我试图通过一个反应堆服务运行代码(代码提供)。所以，我从有反应堆的startCrawling.py运行它。我知道我错过了什么。你能帮帮忙吗。
谢谢,
Code-categorization.py
from scrapy.contrib.spiders.init import InitSpider
from scrapy.http import Request, FormRequest
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from s
浏览 0提问于2014-12-03得票数 0
回答已采纳
4回答
从json中的脚本输出中刮取
、、、、
我在python脚本中运行scrapy
def setup_crawler(domain):
dispatcher.connect(stop_reactor, signal=signals.spider_closed)
spider = ArgosSpider(domain=domain)
settings = get_project_settings()
crawler = Crawler(settings)
crawler.configure()
crawler.crawl(spider)
crawler.start()
re
浏览 0提问于2014-05-09得票数 26
回答已采纳
8回答
我是Scrapy的新手，我正在寻找一种从Python脚本运行它的方法。我找到了两个来源来解释这一点：
我不知道我应该把爬虫代码放在哪里，也不知道如何从main函数调用它。请帮帮忙。以下是示例代码：
# This snippet can be used to run scrapy spiders independent of scrapyd or the scrapy command line tool and use it from a script.
#
# The multiprocessing library is used in order to work around a b
浏览 0提问于2012-11-18得票数 82
2回答
我刚刚安装了Python，开始用Scrapy做一些实验。找到了一个教程，第一次安装Miniconda，与此，我能够安装Scrapy。现在的问题是，我试图运行的软件也需要Twisted。所以我安装了扭曲的pip。
扭曲似乎已经安装正确，但我仍然收到一个错误，当运行脚本，扭曲模块是找不到的。
Python 3.6.3 (v3.6.3:2c5fed8, Oct 3 2017, 17:26:49) [MSC v.1900 32 bit (Intel)] on win32
Type "copyright", "credits" or "license()"
浏览 4提问于2017-12-16得票数 4
回答已采纳
我读过和的文章，并且让多个爬虫在同一个进程中运行。
然而，我不知道如何设计一个信号系统，在所有蜘蛛完成后停止反应堆
我的代码与下面的示例非常相似：
from twisted.internet import reactor
from scrapy.crawler import Crawler
from scrapy.settings import Settings
from scrapy import log
from testspiders.spiders.followall import FollowAllSpider
def setup_crawler(domain):
spid
浏览 2提问于2013-09-13得票数 7
我正在使用Python 3进行一个刮伤项目，并将蜘蛛部署到scrapinghub中。我还使用Google来存储官方文档中提到的刮过的文件。
当我在本地运行蜘蛛时，这些蜘蛛运行的非常好，并且这些蜘蛛被部署到scrapinghub上，没有任何错误。我使用scrapy:1.4-py3作为剪贴的堆栈。在上面运行蜘蛛时，我得到了以下错误：
Traceback (most recent call last):
File "/usr/local/lib/python3.6/site-packages/twisted/internet/defer.py", line 1386, i
浏览 0提问于2018-02-22得票数 1
回答已采纳
1回答
我可以在python脚本中使用wiki中的以下菜谱运行爬行：
from twisted.internet import reactor
from scrapy.crawler import Crawler
from scrapy import log, signals
from testspiders.spiders.followall import FollowAllSpider
from scrapy.utils.project import get_project_settings
spider = FollowAllSpider(domain='scrapinghub.com
浏览 2提问于2015-02-24得票数 8
回答已采纳
我试图在单独的脚本中执行抓取爬行器，当我在循环中执行这个脚本时(例如，用不同的参数运行相同的爬行器)，我得到ReactorAlreadyRunning。我的代码片段：
from celery import task
from episode.skywalker.crawlers import settings
from multiprocessing.queues import Queue
from scrapy import log, project, signals
from scrapy.settings import CrawlerSettings
from scrapy.spider
浏览 0提问于2013-05-24得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
