最近学习scrapy框架，在settings中添加scrapy_redis参数
#Enables scheduling storing requests queue in redis.
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
# Ensure all spiders share same duplicates filter through redis.
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
# Don't clean
浏览 688提问于2020-03-05
1回答
我希望在自定义的基础蜘蛛类中为蜘蛛提供一些通用的功能。
通常，刮伤蜘蛛是从scrapy.Spider类继承的。
我尝试在scrapy的蜘蛛文件夹中创建一个BaseSpider类，但是没有工作
import scrapy
class BaseSpider(scrapy.Spider):
def __init__(self):
super(scrapy.Spider).__init__()
def parse(self, response):
pass
这是我真正的蜘蛛
import scrapy
import BaseSpider
cla
浏览 3提问于2017-06-17得票数 0
回答已采纳
1回答
我使用scrapy-redis.编写了一个分布式蜘蛛
起初，一切似乎都很好。
设置文件：
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.SpiderPriorityQueue'
然而，在爬行所有URL之后，一只蜘蛛关闭了，而另一只蜘蛛却没有--并且开始重新抓取已经爬行的URL。
有人能帮我解释一下
浏览 1提问于2016-08-23得票数 0
回答已采纳
scrapy:
import scrapy
from scrapy.spider import Request
class TestspiderSpider(scrapy.Spider):
name = 'testspider'
allowed_domains = ['mzitu.com']
start_urls = ['http://www.mzitu.com/']
def start_requests(self):
L =[]
print("L-id:",i
浏览 2提问于2018-08-17得票数 4
回答已采纳
我对分布式scrapy爬虫是个新手，但是我发现了scrapy-redis并且一直在使用它。我在一个覆盆子pi上使用它来抓取大量我推送到redis的URL。我所做的就是在Pi中创建多个SSH会话，然后运行scrapy crawl myspider让爬行器“等待”。然后我启动另一个SSH并执行redis-cli lpush "my links“。然后爬虫运行，尽管我不确定它们实际运行的并发程度。
我希望这是清楚的，如果没有，请让我知道，我可以澄清。我真的只是在寻找在实现这个基本版本的scrapy-redis之后的“下一步”。
编辑:我是从这个答案开始的。回答者说他用scrapy-redis
浏览 0提问于2020-07-31得票数 0
1回答
我有两个运行Scrapy的Ubuntu EC2实例，它们都使用scrapy来控制dupe。我正在尝试使用ElastiCache红宝石作为刮红店。我有完全相同的设置在不同的AWS帐户，它运行良好。我试图复制一个新帐户的设置，它将无法工作。两个EC2实例和ElastiCache实例都在同一个VPC中，我遵循这篇文章允许安全组从Scrapy实例访问ElastiCache。您可以看到下面的设置：
📷
ElastiCache实例位于选定的安全组中；其他两个组是两个Scrapy EC2实例。
这个问题被隔离到Scrapy，因为我可以使用redis-cli连接到两个Scrapy框中，并且没有问题。我的set
浏览 0提问于2019-06-01得票数 0
1回答
我在研究刮伤的框架。
我有一些共同的属性，我想在我所有的蜘蛛，所以我做了一个BaseSpider。
BaseSpider
import scrapy
from src.LoggerFactory import get_logger
import ConfigParser
from redis import Redis
class BaseSpider(scrapy.Spider):
logger = get_logger()
def __init__(self, *args, **kwargs):
super(scrapy.Spider, self).__
浏览 2提问于2017-06-19得票数 0
回答已采纳
我使用scrapy简单地构建了一个分布式爬虫，从机器需要读取url形式的主队列url，但是有一个问题是，我到达url从机器是在cPikle转换后的数据，我想从redis- url队列中获得url是正确的，您有什么建议？
示例：
from scrapy_redis.spiders import RedisSpider
from scrapy.spider import Spider
from example.items import ExampleLoader
class MySpider(RedisSpider):
"""Spider that reads urls f
浏览 5提问于2016-03-21得票数 1
回答已采纳
我感兴趣的是使用来存储在Redis中刮过的物品。特别是，似乎是一个有用的特性。
首先，我在上对蜘蛛进行了如下调整：
import scrapy
from tutorial.items import QuoteItem
class QuotesSpider(scrapy.Spider):
name = "quotes"
start_urls = [
'http://quotes.toscrape.com/page/1/',
'http://quotes.toscrape.com/page/2/',
浏览 25提问于2017-05-04得票数 1
回答已采纳
1回答
我想用scrapy框架和scrapy-redis库做一个有针对性的分布式爬虫。这里我需要两个队列，一个称为prior_queue，另一个是urls_queue.Both queues，它根据请求的得分来维护排序后的请求。Crawler总是从prior_queue获取第一个请求，直到prior_queue为空，然后将一些请求从urls_queue移动到prior_queue。所有产生的请求都被推送到urls_queue中。有了这样的要求，有没有人可以给我一些解决方案或想法来实现它呢？我应该修改哪些scrapy模块来满足我的需求？
浏览 14提问于2018-08-23得票数 0
我有一个scrapy_redis蜘蛛池，它侦听红色队列(蜘蛛的数量并不总是相同的)。这个队列由另一个脚本提供。我希望我的蜘蛛在没有活动的X分钟后停下来，那时红色的队列里什么都没有了。
我在我的settings.py中设置了settings.py，但它似乎不起作用。
这是我的settings.py
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
SCHEDULER_IDLE_BEFORE_CLOSE =
浏览 2提问于2017-04-21得票数 4
我做了一个scrapy-redis爬虫，并决定做一个分布式爬虫。对于更多，我想让它成为一个基于任务的，一个任务一个名称。因此，我计划将爬行器的名称更改为任务的名称，并使用此名称来区分每个任务。正因为如此，我在运行网页管理的过程中遇到了一个如何更改爬虫名称的问题。
这是我的代码，它是不成熟的：
#-*- encoding: utf-8 -*-
import redis
from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings
from scrapy_redis.s
浏览 0提问于2017-05-26得票数 0
我有一个刮伤项目，我想将它修改为scrapy :主要的刮伤文件如下：
class MySpider(RedisSpider):
name = 'ScrapyBot'
redis_key = 'myspider:start_urls'
start_urls = []
my_header = {
"Host": "jd.com",
"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv
浏览 2提问于2022-03-29得票数 0
2回答
我试图从redis (rq)中检索一个函数，它生成一个CrawlerProcess，但是我得到了
工作-马进程意外终止(等待返回11)
控制台日志：
将作业移动到“失败”队列(工作-马意外终止；waitpid返回11)
在我用注释标记的行上
这一行终止程序
我做错了什么？我怎么才能修好它？
我从RQ中很好地检索到这个函数：
def custom_executor(url):
process = CrawlerProcess({
'USER_AGENT': "Mozilla/5.0 (X11; Linux x86_64) A
浏览 1提问于2017-11-07得票数 4
回答已采纳
你好，我想把我的爬虫蜘蛛改成rediscrawlspider，然后这个bug出现了：
2019-01-09 10:28:54 [twisted] CRITICAL: Unhandled error in Deferred:
2019-01-09 10:28:54 [twisted] CRITICAL:
Traceback (most recent call last):
File "C:\ProgramData\Anaconda3\lib\site-packages\twisted\internet\task.py", line 517, in _oneWorkUnit
res
浏览 23提问于2019-01-09得票数 0
1回答
我从一个网站上得到了一个Scrapy的例子，它可以工作，但似乎有问题:它不能获得所有的内容，我不知道发生了什么。该示例使用Scrapy+Redis+MongoDB。
信息：
2015-10-09 01:43:33 [scrapy] INFO: Crawled 292 pages (at 292 pages/min), scraped 291 items (at 291 items/min)
2015-10-09 01:44:33 [scrapy] INFO: Crawled 292 pages (at 0 pages/min), scraped 291 items (at 0 items/mi
浏览 0提问于2015-10-09得票数 5
我们知道scrapy_redis可以通过重写start_request函数来实现post请求，那么scrapy呢？
浏览 26提问于2019-03-18得票数 0
1回答
我现在正在使用scrapy-redis，我可以使用它，并且我成功地通过使用相同的redis服务器在不同的计算机上爬行。但我不明白如何正确使用scrapy-redis管道。在我的理解中，我认为我需要另一个脚本而不是爬行器来处理redis管道列表中的项，然后我可以做一些事情，比如将它们存储到数据库中。我是否理解正确，我是否必须编写另一个脚本，该脚本在某种程度上依赖于爬行器？
浏览 13提问于2017-07-31得票数 0
2回答
抓取-- redis框架，redis存储xxx:请求已经爬行完毕，但程序仍在运行，如何自动停止程序，而不是已经运行？
运行代码：
2017-08-07 09:17:06 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) 2017-08-07 09:18:06 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items
浏览 4提问于2017-08-07得票数 1
回答已采纳
2回答
当我尝试请求URL时：
http://www.iqiyi.com/v_19rrk4vf0k.html
这是一个蜘蛛：
class URLredirect(scrapy.Spider):
name = 'urlredirect_spider'
def start_requests(self):
reqs = []
url = 'http://www.iqiyi.com/v_19rrk4vf0k.html'
req = scrapy.Request(url, headers=headers, meta={'url':
浏览 0提问于2017-10-31得票数 0
我尝试了两种解决方案：
1)`REDIS_HOST = '111.111.111.111'
REDIS_PORT = 12000
REDIS_PASSWORD = 'aaaaaaaa'`
但它会引发以下问题：
2017-11-23 15:03:13 [twisted] CRITICAL:
Traceback (most recent call last):
File "/home/yuyanggo/.local/lib/python3.6/site-packages/twisted/internet/defer.py", line
浏览 0提问于2017-11-23得票数 0
# -*- coding: utf-8 -*- from scrapy_redis.spiders import RedisSpider from scrapy.spider import Request
from scrapy_redis_slaver.items import MzituSlaverItem
class MzituSpider(RedisSpider):
name = 'mzitu'
redis_key = 'mzitu:start_urls' # get start url from redis
def
浏览 0提问于2018-08-19得票数 0
回答已采纳
我用scrapy-redis写了一个简单的爬虫来制作分布式蜘蛛。当我启动两只蜘蛛，然后把它们都杀死时，我发现了这点。redis队列只留下了‘dupfilter’队列。当我重新启动这两个爬虫时，它们根本不起作用。那么，如果蜘蛛意外死亡或崩溃，如何重新启动它们呢？
浏览 0提问于2016-05-30得票数 0
我以前成功地使用过CrawlSpider。但是当我更改代码以便与Redis集成并添加我自己的中间件来设置UserAgent和cookie时，爬行器不再解析响应，因此爬行器不会生成新的请求，爬行器在开始后不久就关闭了。
即使我这样写: def parse_start_url(self，response)：return self.parse_item( response )，它也只解析来自第一个url的响应
下面是我的代码: Spider：
# -*- coding: utf-8 -*-
from scrapy.linkextractors import LinkExtractor
from y
浏览 0提问于2018-07-14得票数 0
我使用的是Scrapy 1.1，我的问题是：
在使用start_requests()制作urls之后，start_urls也是必需的吗？
我可以删除它吗？
例如：
class demoSpider(RedisSpider):
name = "demospider"
#Can I delete `start_urls`?
redis_key = 'demospider:start_urls'
start_urls = ['http://www.example.com']
def start_request
浏览 0提问于2016-07-03得票数 0
2回答
在Python Scrapy框架中有一个scrapy.bat文件：
@echo off
setlocal
"%~dp0..\python" "%~dp0scrapy" %*
endlocal
有人能解释一下这是做什么的吗？尤其是这一行"%~dp0..\python" "%~dp0scrapy" %*。
浏览 1提问于2012-01-19得票数 0
回答已采纳
2回答
假设我有几个服务器，每个服务器同时运行多个Scrapy spider实例。使用CONCURRENT_REQUESTS = 4，每个爬行器被限制为4个并发请求。具体来说，假设一次有10个爬虫实例，所以我从不期望一次最多有40个请求。
如果我需要知道在任何给定时间，有多少并发请求在所有10个爬行器中处于活动状态，我可能会考虑将该整数存储在中央redis服务器上的某个"connection_count“键下。
我当时的想法是编写一些下载器中间件，示意性地看起来像这样：
class countMW(object):
def process_request(self, request,
浏览 1提问于2017-02-02得票数 0
我有这样的文件夹结构： services/
web/
project/
api/
scrapy.cfg 这就是我如何构建需要scrapy.cfg的容器 web:
build:
context: ./services/web
dockerfile: Dockerfile-dev
volumes:
- './services/web:/usr/src/app'
ports:
- 50
浏览 36提问于2019-05-13得票数 1
2回答
我从github下载了scrapy-redis，并按照说明运行它，但它失败了，并给出了这个错误：
2013-01-04 17:38:50+0800 [-] ERROR: Unhandled error in Deferred:
2013-01-04 17:38:50+0800 [-] Unhandled Error
Traceback (most recent call last):
File "/usr/local/lib/python2.7/dist-packages/Scrapy-0.16.3-py2.7.egg/scrapy/cmdline.
浏览 0提问于2013-01-04得票数 1
回答已采纳
1回答
我想要做的是，当一个刮痕蜘蛛被打开时，触发一个函数(abc)，这个函数可能是由刮伤的信号触发的。
(稍后，我想将其改为“关闭”，以便将每个蜘蛛的统计数据保存到数据库中，以便进行日常监视。)所以现在，我尝试了这个简单的解决方案，只是为了打印出来，当我运行爬虫进程的时候，当蜘蛛打开的时候，我希望在控制台上看到什么。
所发生的是，爬虫运行良好，但不是打印'abc‘的输出，一旦蜘蛛是开放的，这应该触发输出。最后，我发布了控制台中看到的内容，这就是蜘蛛运行得非常好。
为什么abc函数在日志中见'INFO: Spider已打开‘的地方没有被信号触发(或者根本没有)？
MyCrawlerPr
浏览 0提问于2016-03-17得票数 0
回答已采纳
2回答
我发现了很多Scrapy教程(如)，它们都需要下面列出的步骤。结果是一个项目，有很多文件(project.cfg +一些.py文件+一个特定的文件夹结构)。
如何使这些步骤(如下所列)作为一个可以与 python mycrawler.py一起运行的自包含的python文件工作？
(而不是一个包含大量文件、一些.cfg文件等的完整项目，而不得不使用scrapy crawl myproject -o myproject.json__.顺便问一下，scrapy似乎是一个新的shell命令？这是真的吗？)
注意：，但不幸的是，它被废弃了，不再工作了。
1)使用scrapy startproject
浏览 4提问于2015-01-02得票数 5
回答已采纳
2回答
抱歉打扰你们。这是个糟糕的问题，似乎真正让我困惑的是ItemPipeline是如何在刮刮中工作的。我会结束它，开始一个新的问题。
我应该将db/redis连接绑定到scrapy、Spider或Pipeline的哪个位置。
在刮掉的文档中。但也可能是(这也是扩展scrapy-redis所做的)。后一种解决方案带来的好处是，除了管道之外，蜘蛛还可以在更多的地方访问，比如中间件。
那么，哪种方法更好呢？
我对管道并行运行感到困惑(这是医生说的)。这是否意味着有多个MyCustomPipeline实例
此外，redis/db的连接池是首选？
我只是缺乏实地经验来做决定。需要你的帮助。提前谢谢。
正
浏览 5提问于2020-07-10得票数 1
回答已采纳
我试图迭代传递给scrapy请求的回调的URL返回列表，但是我得到了以下错误：
TypeError: 'Request' object is not iterable
下面的工作。我可以看到所有提取的URL都淹没了终端：
import scrapy
class PLSpider(scrapy.Spider):
name = 'pl'
start_urls = [ 'https://example.com' ]
def genres(self, resp):
for genre in resp.css(&
浏览 4提问于2017-07-30得票数 1
回答已采纳
我需要确定由spider下载的页面是否为html。我希望蜘蛛爬行的网站有一个pdf和html链接的组合。因此，如果它遇到一个pdf文件，它将把响应通过一个PDFReader，否则它将读取html文件的原样。这是我代码的一部分，但它不起作用：
import scrapy
class QuotesSpider(scrapy.Spider):
name = "spyder_OLD"
allowed_domains = ['doc.scrapy.org']
start_urls = ['https://doc.scrapy.org/en
浏览 1提问于2018-09-23得票数 0
回答已采纳
1回答
我正在使用创建一个从Redis列表中读取URL的爬行器。我的问题是，我想发送一个唯一的ID与每一个网址。这样我就可以再次识别数据库中的条目。
我的redis列表是这样的：
Scrapy-redis默认只从redis读取一个url，然后将其发送到爬行器。
我在内部进行了修改：
并更改了此函数：
def next_request(self):
"""Returns a request to be scheduled or none."""
url = self.server.lpop(self.redis_key)
if u
浏览 1提问于2016-02-26得票数 0
1回答
芹菜不解析CSV文件
、、、、
任务本身立即启动，但它尽快结束，我没有看到任务的结果，它根本没有进入管道。当我编写代码并使用scrapy crawl <spider_name>命令运行它时，一切都正常工作。我在吃芹菜的时候遇到了这个问题。
我的芹菜工人原木：
[2021-02-13 14:25:00,208: INFO/MainProcess] Received task: crawling.crawling.tasks.start_crawler_process[dece5127-bdfe-47d1-855e-ffc06d5481d3]
[2021-02-13 16:25:00,867: INFO/Fork
浏览 4提问于2021-02-13得票数 0
回答已采纳
1回答
我正在为网站设计一个使用python scrapy的刮板。
我已经提取了很多元素的expath，但无法获得存储版本的手机。
通过检查元素可以获得xpath，但是当尝试在scrapy shell中调用时，它返回：
[]
浏览 2提问于2020-04-13得票数 0
我创建了一个带有几个管道步骤的Scrapy Crawler。爬虫是一个更大的框架的一部分，它需要爬虫返回一个解析的项目列表。
在Scrapy中，我实现了一个包含几个规范化步骤的管道。由于Scrapy是更大的框架的一部分-如果我可以在通过整个管道后将项目返回到爬虫和/或框架，那就太好了。有没有办法做到这一点？
例如一些伪代码
url = 'http://somewebsite.com'
crawler = MyCrawler(url)
# each parsed website passes each pipeline step and is yielded / returned
浏览 0提问于2013-12-05得票数 0
我安装了Scrapy框架。在scrapy文档中，它告诉我应该为Scrapy创建一个Anaconda的虚拟环境，所以我就这么做了。它在anaconda虚拟环境中工作，但在vscode中，它会给我一个警告。 无法解析导入"scrapy“ 在虚拟环境的cmd中一切正常，但是编辑器给了我一个警告。 我该怎么办？
浏览 10提问于2021-08-22得票数 0
我想用python抓取一个网站，但我遇到了麻烦。请求库是可以的，但是400与Scrapy，下面的代码 import requests
urls = "https://pan.baidu.com/s/1sj1JLJv"
headers = {
'User-Agent': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; 360SE)',
'Accept': 'text/html,application/xhtml+xml,application/xml
浏览 18提问于2019-02-01得票数 0
我对Scrapy比较陌生，我只是像下面这样输入scrapy version；但它确实触发了文件夹中的爬虫。 显然，我正在开发一些爬行器，例如，一个爬行器在init方法中打开Chrome web驱动程序，只需输入Scrapy version就可以打开Chrome浏览器。为什么Scrapy要加载文件夹中的所有蜘蛛？如何避免这种情况？ (django_corp_data):~/sherlockit$ scrapy version
['version']
corp_data.spiders.quote
version
Scrapy 1.8.0
浏览 11提问于2020-04-01得票数 0
这个问题本质上和是一样的，但是我想仔细检查一下是否有“原生的”方法来解决这个问题。
我正在抓取网页，99%的时间都可以成功抓取，而不需要渲染JavaScript。但是，有时此操作会失败，并且某些Field不存在。我想写一个带有item_scraped方法的Scrapy ，该方法检查是否所有预期的字段都已填充，如果没有，则生成一个包含开机启动设置的custom_settings的不同爬行器的SplashRequest。)。
有没有不使用外部服务(比如Redis)就能做到这一点的Scrapy方法？
浏览 16提问于2017-07-20得票数 1
回答已采纳
我的特殊用例是:我有一个抓取器，它正在抓取一个站点，一旦一个项目被产生，我就有一个绑定信号，它在Redis中设置一个具有过期时间的密钥。下次运行抓取器时，它应该忽略Redis中存在关键字的所有URL。
第一部分我工作得很好；第二部分-我已经创建了一个DownloaderMiddleware，它有一个process_request函数来查看传入的请求对象，并检查它的URL是否存在于Redis中。如果是这样的话，它会raises一个IgnoreRequest异常。
我想知道的是:有没有一种方法可以静默地将请求出队，而不是引发异常？与其说这是一个苛刻的要求，倒不如说是一件美观的事情；我不想在我的错误
浏览 1提问于2016-04-04得票数 0
我正在尝试在Scrapy中创建一个自定义，但它似乎不起作用。下面是蜘蛛侠的例子：
import scrapy
from tutorial.items import QuoteItem
class QuotesSpider(scrapy.Spider):
name = "quotes"
start_urls = [
'http://quotes.toscrape.com/page/1/',
'http://quotes.toscrape.com/page/2/',
]
custom
浏览 7提问于2017-05-05得票数 2
回答已采纳
1回答
我需要在Django REST控制器中做一些短期的实时抓取并返回结果数据。
试图利用刮伤：
import scrapy
from scrapy.selector import Selector
from . models import Product
class MysiteSpider(scrapy.Spider):
name = "quotes"
start_urls = [
'https://www.something.com/browse?q=dfd',
]
allowed_domains = [
浏览 3提问于2016-12-30得票数 3
1、我使用 mitmdump 进行抓取数据时，报了个错误，一直查找解决分案，报错信息如下
C:\Windows\System32>mitmdump -s E:\Python开发\DataTest\酷狗\KGRequestProvider.py
Loading script: E:\Python开发\DataTest\酷狗\KGRequestProvider.py
Script error: Traceback (most recent call last):
File "E:\Python开发\DataTest\酷狗\KGRequestProvider.py", li
浏览 538提问于2020-06-01
我写了一只蜘蛛爬行一些页面，有时它工作，但有时不行。
以下是问题所在：
Traceback (most recent call last):
File "/home/hadoop/scrapy/myapp/lib/python2.7/site-packages/twisted/internet/base.py", line 824, in runUntilCurrent
call.func(*call.args, **call.kw)
File "/home/hadoop/scrapy/myapp/lib/python2.7/site-packages/
浏览 0提问于2015-06-11得票数 1
1回答
这个公式是引用的
我按照下面的链接来保持爬虫的状态
现在，当爬行器在中断或Ctrl+C中正确结束时，这是非常好的工作方式。
我注意到蜘蛛没有在
你击中了Ctrl +C多次。
服务器容量被击中。
它突然结束的任何其他原因
当蜘蛛再次运行时，它会在爬起来的第一个url上关闭自己。
当发生上述情况时，如何实现爬行器的持久状态？否则它就会再次爬上一整堆urls。
当蜘蛛再次运行时记录：
2016-08-30 08:14:11 [scrapy] INFO: Scrapy 1.1.2 started (bot: maxverstappen)
2016-08-30 08:14:11 [s
浏览 3提问于2016-08-30得票数 1
我正在做一个项目(WebAPI)，我必须从azure redis缓存中挑选数据，由于一些限制，我使用的是visual studio 2008。如何将其配置为在08上使用ServiceStack.redis/azure redis缓存？
在这方面，我还没有找到任何解决方案。
浏览 6提问于2018-02-28得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
