Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >爬虫课堂(二十八)|Spider和CrawlSpider的源码分析

爬虫课堂(二十八)|Spider和CrawlSpider的源码分析

作者头像
黄小怪
发布于 2018-05-21 09:52:17
发布于 2018-05-21 09:52:17
1.9K00
代码可运行
举报
文章被收录于专栏:小怪聊职场小怪聊职场
运行总次数:0
代码可运行

我在爬虫课堂(二十五)|使用CrawlSpider、LinkExtractors、Rule进行全站爬取章节中说将对CrawlSpider的源码进行一个讲解,这篇文章就是来还账的,你们如果觉得好请点个赞。

一、Spider源码分析

在对CrawlSpider进行源码分析之前,先对Spider源码进行一个分析。

1.1、Spider介绍及主要函数讲解

Spider类定义了如何爬取某个(或某些)网站。包括了爬取的动作(是否跟进链接)以及如何从网页的内容中提取结构化数据(提取Item)。 Spider就是定义爬取的动作以及分析某个(或某些)网页的地方。

Spider是最基本的类,所有爬虫必须继承这个类。

Spider类主要用到的函数及调用顺序为:

1)init()

初始化爬虫名字和start_urls列表。

重点:这里爬虫名称是必须的,而且必须是唯一的。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
    def __init__(self, name=None, **kwargs):
        if name is not None:
            self.name = name
        elif not getattr(self, 'name', None):
            raise ValueError("%s must have a name" % type(self).__name__)
        self.__dict__.update(kwargs)
        if not hasattr(self, 'start_urls'):
            self.start_urls = []

2)start_requests()调用make_requests_from_url()

生成Requests对象交给Scrapy下载并返回Response。

重点:该方法只会调用一次。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
    def start_requests(self):
        cls = self.__class__
        if method_is_overridden(cls, Spider, 'make_requests_from_url'):
            warnings.warn(
                "Spider.make_requests_from_url method is deprecated; it "
                "won't be called in future Scrapy releases. Please "
                "override Spider.start_requests method instead (see %s.%s)." % (
                    cls.__module__, cls.__name__
                ),
            )
            for url in self.start_urls:
                yield self.make_requests_from_url(url)
        else:
            for url in self.start_urls:
                yield Request(url, dont_filter=True)

    def make_requests_from_url(self, url):
        """ This method is deprecated. """
        return Request(url, dont_filter=True)

3)parse()

解析response,并返回Item或Requests(需指定回调函数)。Item传给Item pipline持久化,Requests交由Scrapy下载,并由指定的回调函数处理,一直进行循环,直到处理完所有的数据为止。

重点:这个类需要我们自己去实现。并且是默认的Request对象回调函数,处理返回的response。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
    def parse(self, response):
        raise NotImplementedError
1.2、Spider源码分析

因为Spider源码不是很多,我直接在它的源码加上注释的方式进行讲解,如下:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
"""
Base class for Scrapy spiders

See documentation in docs/topics/spiders.rst
"""
import logging
import warnings

from scrapy import signals
from scrapy.http import Request
from scrapy.utils.trackref import object_ref
from scrapy.utils.url import url_is_from_spider
from scrapy.utils.deprecate import create_deprecated_class
from scrapy.exceptions import ScrapyDeprecationWarning
from scrapy.utils.deprecate import method_is_overridden

#所有爬虫的基类,用户定义的爬虫必须从这个类继承
class Spider(object_ref):
    """Base class for scrapy spiders. All spiders must inherit from this
    class.
    """

    #1、定义spider名字的字符串。spider的名字定义了Scrapy如何定位(并初始化)spider,所以其必须是唯一的。
    #2、name是spider最重要的属性,而且是必须的。一般做法是以该网站的域名来命名spider。例如我们在爬取豆瓣读书爬虫时使用‘name = "douban_book_spider"’  
    name = None
    custom_settings = None

    #初始化爬虫名字和start_urls列表。上面已经提到。
    def __init__(self, name=None, **kwargs):
        #初始化爬虫名字
        if name is not None:
            self.name = name
        elif not getattr(self, 'name', None):
            raise ValueError("%s must have a name" % type(self).__name__)
        self.__dict__.update(kwargs)

        #初始化start_urls列表,当没有指定的URL时,spider将从该列表中开始进行爬取。 因此,第一个被获取到的页面的URL将是该列表之一,后续的URL将会从获取到的数据中提取。  
        if not hasattr(self, 'start_urls'):
            self.start_urls = []

    @property
    def logger(self):
        logger = logging.getLogger(self.name)
        return logging.LoggerAdapter(logger, {'spider': self})

    def log(self, message, level=logging.DEBUG, **kw):
        """Log the given message at the given log level

        This helper wraps a log call to the logger within the spider, but you
        can use it directly (e.g. Spider.logger.info('msg')) or use any other
        Python logger too.
        """
        self.logger.log(level, message, **kw)

    @classmethod
    def from_crawler(cls, crawler, *args, **kwargs):
        spider = cls(*args, **kwargs)
        spider._set_crawler(crawler)
        return spider

    def set_crawler(self, crawler):
        warnings.warn("set_crawler is deprecated, instantiate and bound the "
                      "spider to this crawler with from_crawler method "
                      "instead.",
                      category=ScrapyDeprecationWarning, stacklevel=2)
        assert not hasattr(self, 'crawler'), "Spider already bounded to a " \
                                             "crawler"
        self._set_crawler(crawler)

    def _set_crawler(self, crawler):
        self.crawler = crawler
        self.settings = crawler.settings
        crawler.signals.connect(self.close, signals.spider_closed)

    #该方法将读取start_urls列表内的地址,为每一个地址生成一个Request对象,并返回这些对象的迭代器。
    #注意:该方法只会调用一次。
    def start_requests(self):
        cls = self.__class__
        if method_is_overridden(cls, Spider, 'make_requests_from_url'):
            warnings.warn(
                "Spider.make_requests_from_url method is deprecated; it "
                "won't be called in future Scrapy releases. Please "
                "override Spider.start_requests method instead (see %s.%s)." % (
                    cls.__module__, cls.__name__
                ),
            )
            for url in self.start_urls:
                yield self.make_requests_from_url(url)
        else:
            for url in self.start_urls:
                yield Request(url, dont_filter=True)

    #1、start_requests()中调用,实际生成Request的函数。
    #2、Request对象默认的回调函数为parse(),提交的方式为get。
    def make_requests_from_url(self, url):
        """ This method is deprecated. """
        return Request(url, dont_filter=True)

    #默认的Request对象回调函数,处理返回的response。  
    #生成Item或者Request对象。这个类需要我们自己去实现。
    def parse(self, response):
        raise NotImplementedError

    @classmethod
    def update_settings(cls, settings):
        settings.setdict(cls.custom_settings or {}, priority='spider')

    @classmethod
    def handles_request(cls, request):
        return url_is_from_spider(request.url, cls)

    @staticmethod
    def close(spider, reason):
        closed = getattr(spider, 'closed', None)
        if callable(closed):
            return closed(reason)

    def __str__(self):
        return "<%s %r at 0x%0x>" % (type(self).__name__, self.name, id(self))

    __repr__ = __str__


BaseSpider = create_deprecated_class('BaseSpider', Spider)


class ObsoleteClass(object):
    def __init__(self, message):
        self.message = message

    def __getattr__(self, name):
        raise AttributeError(self.message)

spiders = ObsoleteClass(
    '"from scrapy.spider import spiders" no longer works - use '
    '"from scrapy.spiderloader import SpiderLoader" and instantiate '
    'it with your project settings"'
)

# Top-level imports
from scrapy.spiders.crawl import CrawlSpider, Rule
from scrapy.spiders.feed import XMLFeedSpider, CSVFeedSpider
from scrapy.spiders.sitemap import SitemapSpider

二、CrawlSpider源码分析

讲解完Spider源码分析之后,我再来对CrawlSpider的源码进行一个分析。

2.1、CrawlSpider介绍及主要函数讲解

CrawlSpider是爬取一般网站常用的spider。它定义了一些规则(rule)来提供跟进link的方便的机制。也许这个spider并不是完全适合特定网站或项目,但它对很多情况都使用。

因此我们可以在它的基础上,根据需求修改部分方法。当然我们也可以实现自己的spider。除了从Spider继承过来的(必须提供的)属性外,它还提供了一个新的属性:

1)rules

一个包含一个(或多个)Rule对象的集合(list)。 每个Rule对爬取网站的动作定义了特定表现。如果多个Rule匹配了相同的链接,则根据他们在本属性中被定义的顺序,第一个会被使用。

使用方式案例如下:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
rules = (
    # 提取匹配 'category.php' (但不匹配 'subsection.php') 的链接并跟进链接(没有callback意味着follow默认为True)
    Rule(LinkExtractor(allow=('category\.php', ), deny=('subsection\.php', ))),

    # 提取匹配 'item.php' 的链接并使用spider的parse_item方法进行分析
    Rule(LinkExtractor(allow=('item\.php', )), callback='parse_item',  follow=True),
)

2)parse_start_url(response)

当start_url的请求返回时,该方法被调用。 该方法分析最初的返回值并必须返回一个Item对象或者一个Request对象或者一个可迭代的包含二者对象。

该spider方法需要用户自己重写。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
def parse_start_url(self, response):  
    return []  

3)parse(),一定不要重写这个方法

通过上面的介绍,我们知道Spider中的parse()方法是需要我们重写的,如下:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
def parse(self, response):
        raise NotImplementedError

但是,CrawlSpider中的parse()方法在源码中已经实现了一些功能,如下:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
def parse(self, response):
        return self._parse_response(response, self.parse_start_url, cb_kwargs={}, follow=True)

所以我们在使用CrawlSpider时,一定一定不要去重写parse()函数(重点)。可以使用Rule(LinkExtractor(allow=('item\.php', )), callback='parse_item', follow=True)中的callback去指定需要跳转的parse。

例如我们在爬虫课堂(二十五)|使用CrawlSpider、LinkExtractors、Rule进行全站爬取中讲解简书全站爬取的时候使用方法,如下:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
class JianshuCrawl(CrawlSpider):
    name = "jianshu_spider_crawl"
    # 可选,加上会有一个爬取的范围
    allowed_domains = ["jianshu.com"]
    start_urls = ['https://www.jianshu.com/']

    # response中提取链接的匹配规则,得出符合条件的链接
    pattern = '.*jianshu.com/u/*.'
    pagelink = LinkExtractor(allow=pattern)

    # 可以写多个rule规则
    rules = [
        # 只要符合匹配规则,在rule中都会发送请求,同时调用回调函数处理响应。
        # rule就是批量处理请求。
        Rule(pagelink, callback='parse_item', follow=True),
    ]

    # 不能写parse方法,因为源码中已经有了,会覆盖导致程序不能跑
    def parse_item(self, response):
        for each in response.xpath("//div[@class='main-top']"):
    ......

callback='parse_item'(这里的parse_item是字符串)指定了跳转的函数def parse_item(self, response)

2.2、CrawlSpider源码分析

同样的,因为CrawlSpider源码不是很多,我直接在它的源码加上注释的方式进行讲解,如下:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
class CrawlSpider(Spider):

    rules = ()

    def __init__(self, *a, **kw):
        super(CrawlSpider, self).__init__(*a, **kw)
        self._compile_rules()

    #1、首先调用parse()方法来处理start_urls中返回的response对象。
    #2、parse()将这些response对象传递给了_parse_response()函数处理,并设置回调函数为parse_start_url()。
    #3、设置了跟进标志位True,即follow=True。
    #4、返回response。
    def parse(self, response):
        return self._parse_response(response, self.parse_start_url, cb_kwargs={}, follow=True)

    #处理start_url中返回的response,需要重写。
    def parse_start_url(self, response):
        return []

    def process_results(self, response, results):
        return results

    def _build_request(self, rule, link):
         #构造Request对象,并将Rule规则中定义的回调函数作为这个Request对象的回调函数。这个‘_build_request’函数在下面调用。
        r = Request(url=link.url, callback=self._response_downloaded)
        r.meta.update(rule=rule, link_text=link.text)
        return r

    #从response中抽取符合任一用户定义'规则'的链接,并构造成Resquest对象返回。
    def _requests_to_follow(self, response):
        if not isinstance(response, HtmlResponse):
            return
        seen = set()
        #抽取所有链接,只要通过任意一个'规则',即表示合法。 
        for n, rule in enumerate(self._rules):
            links = [lnk for lnk in rule.link_extractor.extract_links(response)
                     if lnk not in seen]
            if links and rule.process_links:
                links = rule.process_links(links)
            #将链接加入seen集合,为每个链接生成Request对象,并设置回调函数为_repsonse_downloaded()for link in links:
                seen.add(link)
                #构造Request对象,并将Rule规则中定义的回调函数作为这个Request对象的回调函数。这个‘_build_request’函数在上面定义。
                r = self._build_request(n, link)
                #对每个Request调用process_request()函数。该函数默认为indentify,即不做任何处理,直接返回该Request。
                yield rule.process_request(r)

    #处理通过rule提取出的连接,并返回item以及request。
    def _response_downloaded(self, response):
        rule = self._rules[response.meta['rule']]
        return self._parse_response(response, rule.callback, rule.cb_kwargs, rule.follow)

    #解析response对象,使用callback解析处理他,并返回request或Item对象。
    def _parse_response(self, response, callback, cb_kwargs, follow=True):
        #1、首先判断是否设置了回调函数。(该回调函数可能是rule中的解析函数,也可能是 parse_start_url函数)  
        #2、如果设置了回调函数(parse_start_url()),那么首先用parse_start_url()处理response对象,  
        #3、然后再交给process_results处理。返回cb_res的一个列表。  
        if callback:
            cb_res = callback(response, **cb_kwargs) or ()
            cb_res = self.process_results(response, cb_res)
            for requests_or_item in iterate_spider_output(cb_res):
                yield requests_or_item

        #如果需要跟进,那么使用定义的Rule规则提取并返回这些Request对象。
        if follow and self._follow_links:
            #返回每个Request对象。
            for request_or_item in self._requests_to_follow(response):
                yield request_or_item

    def _compile_rules(self):
        def get_method(method):
            if callable(method):
                return method
            elif isinstance(method, six.string_types):
                return getattr(self, method, None)

        self._rules = [copy.copy(r) for r in self.rules]
        for rule in self._rules:
            rule.callback = get_method(rule.callback)
            rule.process_links = get_method(rule.process_links)
            rule.process_request = get_method(rule.process_request)

    @classmethod
    def from_crawler(cls, crawler, *args, **kwargs):
        spider = super(CrawlSpider, cls).from_crawler(crawler, *args, **kwargs)
        spider._follow_links = crawler.settings.getbool(
            'CRAWLSPIDER_FOLLOW_LINKS', True)
        return spider

    def set_crawler(self, crawler):
        super(CrawlSpider, self).set_crawler(crawler)
        self._follow_links = crawler.settings.getbool('CRAWLSPIDER_FOLLOW_LINKS', True)

参考资料:scrapy官网(官方对这块讲的不多,但是其他我这边没有讲的内容还有很多,真的需要好好看看官网),CSDN上的两篇Scrapy源码分析的文章。

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2018.04.22 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
DASCTF 2022 7月赋能赛 writeup
目前水平确实不足,下午看了几个小时的题目只出了一道web签到题,感觉这DAS的比赛纯粹为了CTF而出题,就像Ez to getflag这个题目,作为一个用户来说上传了一个1.png然后输入1.png查询查不到的话,这应该很难认为是个能用的web服务,纯ctf技巧题吧,比赛时候也做了非常久。
ek1ng
2022/08/10
7611
DASCTF 2022 7月赋能赛 writeup
「JS混淆」免费JS混淆工具
用户8703799
2024/12/26
5900
【有趣】这段java太古怪
非常负责任的告诉你,是的!不信请看下图。纯纯正正的java代码,class为XJJ的java源码,执行后打印小姐姐我爱你。
xjjdog
2019/09/24
5040
【有趣】这段java太古怪
Ueditor漏洞捡漏
下载完成后把压缩包解压后重命名为ueditor,新建一个目录,把 ueditor 放到 test 文件夹下
hyyrent
2022/12/26
1K0
Ueditor漏洞捡漏
奇技淫巧(全) - XSS payload
Blind XSS https://xsshunter.com/ Encoding %u003Cscript%u003Eprompt%u0028303%u0029%u003C/script%u003E %253Cscript%253Ealert(1)%253C%252Fscript%253E %uff1cscript%uff1ealert(1);%uff1c/script%uff1e XML Based XSS <![CDATA[<]]>script<![CDATA[>]]>alert('xss')<![
Khan安全团队
2021/03/10
1.1K0
NewStarCTF
WEEK1|WEB HTTP Get,post按要求传参,修改cookie得到flag Head?Header! 按要求就对了 我真的会谢 扫目录即可,flag三部分三个目录,都敏感目录 Robots
故里[TRUE]
2023/04/20
1.3K0
NewStarCTF
老师,你确定Java注释不会被执行吗?
之前在 CSDN 上分享过一篇文章,涉及到 Java 中的注释,就信誓旦旦地写了一句话:“注释是不会被执行的!”结果,有小伙伴留言说,“老师,你确定吗?”
沉默王二
2020/05/16
7630
JS开发者收藏:一批JS加密工具
这个网站是专注于JS代码安全领域的。主要功能是JS混淆加密。还有JS压缩、Html加密等等。
用户8703799
2024/12/30
1530
JavaScript Magic Tricks: Invalid breakpoint
Under normal conditions, JavaScript code can be breakpointed in a runtime environment, for example:
用户8703799
2024/05/20
1000
JavaScript奇技淫巧:数值的七种写法
在JS语法中,!{}是布尔值false,强制转换成数字为0,!!{}则是true,用+号做强制转换,变成数值即为1。
用户8703799
2023/05/12
3290
程序员疫苗:代码注入
“eval“的参数将会视同PHP处理,所以额外的命令可被添加。例如:如果”arg”如果被设成”10; system('rm -rf /')“,后面的”system('rm -rf /')“代码将被运行,这等同在服务器上运行开发者意料外的程序。(关于rm -rf /,你懂的,可参看“一个空格引发的悲剧”)
洛米唯熊
2019/07/25
7850
2022MTCTFWP-Web
昨天晚上比赛结果出来了, 最后是第二(结束的时候是第四但是有两只队伍被ban了然后我们就是第二了), 大后天就是决赛了, 在这里就挂一下我们web的WP吧(因为题目不是很难所以0解题之外其他的都出了)其中pickle还是值得好好仔细看一下的, 另外再发一篇文章里面对pickle的各个操作都做了详细的注释解答(学习pickle的师傅们可以参考一下hh), 就不放在这里占地方了
h0cksr
2023/05/17
5320
第18篇:fastjson反序列化漏洞区分版本号的方法总结
最近几天一直在审计Java漏洞,周六周天也没休息,所以上周文章就没写,今天抽空写一篇文章补上。在最近几年的攻防比赛、红队评估项目、渗透测试中,fastjson反序列化漏洞是一个非常常见的漏洞,和shiro反序列化漏洞一样,几乎每次比赛都能遇到,很多白帽子、攻击队队员都用这个漏洞拿到过权限。
ABC_123
2022/12/06
2.6K0
第18篇:fastjson反序列化漏洞区分版本号的方法总结
JS编程中的神奇技巧
在JavaScript编程中,除了基本的语法和结构,还有许多“神奇”或高级的用法,这些用法可以帮助你写出更简洁、更高效或更具创意的代码。以下是一些JavaScript编程中的神奇用法:
用户8703799
2024/03/25
1000
IDF – CTF – 牛刀小试
找学校CTF好地方,IDF实验室CTF训练营(http://ctf.idf.cn/)。
全栈程序员站长
2022/01/11
3960
IDF – CTF – 牛刀小试
记一次“SQL注入” Bypass
MyBatis 默认是支持OGNL 表达式的,在特定的情况下能从SQL注入转化到RCE的利用。同时在某些情况下还能绕过一些已有的安全机制。
亿人安全
2024/05/23
1860
记一次“SQL注入” Bypass
改变进程优先级,Nodejs的os.setPriority()方法
os.setPriority()方法是os模块的内置应用程序编程接口,在nodejs v10.10之后的版本中有效,用于设置pid和优先级指定的进程的调度优先级。
用户8703799
2023/12/23
2720
从Fastjson绕WAF到打穿网闸
翻数据库,找账户密码,登陆上来“XX平台”,发现该平台只是一个监测平台,并未获取到太多有价值的信息。
谢公子
2022/01/20
2.3K0
从Fastjson绕WAF到打穿网闸
Serverless实践系列(四):网站监控脚本的实现
很多小伙伴都有自己的博客,或者做过Web,但是自己关心的Web是否健康?当前状态是否可访问?网站挂了谁的锅?这些问题都可以用相关的网站监控脚本进行监测。今天本文将分享如何通过腾讯云云函数开发一个简单的脚本,进行网站监控。
腾讯云serverless团队
2019/07/19
8.3K0
Serverless实践系列(四):网站监控脚本的实现
CVE-2024-38856:Apache OFBiz远程代码执行漏洞
Apache OFBiz是一个开源 ERP 系统,可帮助企业自动化和集成会计、人力资源、客户关系管理、订单管理、制造和电子商务等各种流程。使用Java语言开发,基于Java企业版(Java EE)的技术栈,包括Java Servlet、JavaServer Pages(JSP)、Java数据库连接(JDBC)等。
Timeline Sec
2024/11/23
3250
CVE-2024-38856:Apache OFBiz远程代码执行漏洞
相关推荐
DASCTF 2022 7月赋能赛 writeup
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档