[749]scrapy-redis实现start_requests功能

周小董

发布于 2020-01-13 17:44:51

1.4K00

代码可运行

文章被收录于专栏：python前行者python前行者

运行总次数：0

代码可运行

最近在用scrapy-redis的RedisSpider时，需要在起始请求中添加cookie,发现RedisSpider并不可直接使用start_requests，需要手动实现。

分析可知RedisSpider继承于RedisMixin和Spider类，执行逻辑是RedisMixin的next_requests函数接收到了redis中data后，通过make_request_from_data函数来解码data生成url,make_request_from_data继续调用Spider类中的make_requests_from_url函数生成Request,因此重写Spider中的make_requests_from_url函数即可。

from scrapy.http import Request
from scrapy_redis.spiders import RedisSpider

class MySpider(RedisSpider):
    ...
    def start_requests(self):
        for url in self.start_urls:
            yield self.make_requests_from_url(url)

    def make_requests_from_url(self, url):
        return Request(url, dont_filter=True,
                       cookies={}, meta={} #自定义...
                       )

    def parse(self, response):
        ...

参考：http://www.it1352.com/728561.html https://blog.csdn.net/weixin_42311577/article/details/83543050

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

原始发表：2020/01/05 ，如有侵权请联系 cloudcommunity@tencent.com 删除

云数据库 Redis®