爬虫最快框架collyx，今天开源了……

工欲善其事，必先利其器。之前接触colly时，写过一篇关于colly框架的文章。由于当时能力有限加上时间不够充足，一直没能够去研究这个框架。后来经过3个多月的不断尝试完善，基于colly迭代的collyx框架今天准备开源给各位粉丝朋友。希望各位朋友能够多多提出宝贵意见，在阅读的同时记得给我一个star！

特别声明：本公众号文章只作为学术研究，不用于其它不法用途；如有侵权请联系作者删除。

目录

一、前言介绍

二、collyx框架

三、源码分享

四、实战展示

五、心得分享

开源展望

一、前言介绍

前言：colly 是 Go 实现的比较有名的一款爬虫框架，而且 Go 在高并发和分布式场景的优势也正是爬虫技术所需要的。它的主要特点是轻量、快速，设计非常优雅，并且分布式的支持也非常简单，易于扩展。

github地址: github.com/gocolly/colly

colly官网地址：http://go-colly.org/

从上图中，我们可以看出colly在github社区有着超高的人气。今天我们即将引出collyx爬虫框架，下面我将通过源码分享介绍这个框架给各位读者。

二、collyx框架介绍

框架简介：基于colly框架及net/http进行封装，实现的一款可配置分布式爬虫架构。使用者只需要配置解析、并发数、入库topic、请求方式、请求url等参数即可，其他代码类似于scrapy，不需要单独编写。

框架优势：实现了重试机制，各个功能可插拔，自定义解析模块、结构体模块等，抽象了调度模块，大大减少代码冗余，快速提高开发能力；其中对于feed流并发的爬虫也能够生效，不止基于深度优先爬虫；也可以用于广度优先。

collyx架构图预览：

三、源码分享

根据上面的架构图，我们可将框架分为6个组件，分别为：spiders、engine、items、downloader、pipelines、scheduler。下面，我们将从这几个部分逐一讲解collyx的整个源码，同时也将展示一部分extensions源码。完整目录如下：

1、spiders模块分享，自定义代码结构，代码如下所示：

说明：只需要配置抓取的url、payload、method、redis、kafka等参数即可；如果某些参数不想使用，可以去掉。

2、engine模块源码如下，对colly进行初始化参数配置：

说明：该模块主要是做初始化调度器、请求headers扩展、初始化下载器、初始化colly等操作，是框架运行的重要模块之一。

3、scheduler模块源码展示，完整代码：

说明：这里从spider里的结构体指针取值，获取任务交给TaskChan通道进行任务分发。

4、items模块源码展示

4.1 request_struct.go模块代码如下：

总结：request结构体负责spiders请求自定义，设置初始化请求参数。

4.2 解析结构体，根据解析内容和保存内容自定义结构体，截图如下：

5、downloader模块分享，目录代码结构如下图所示：

总结：该模块拥有下载成功、下载错误、下载重试三个功能，接来下分享下源代码。

5.1 download_error.go代码如下：

模块说明：该模块为捕获错误请求，并及时释放并发通道。

5.2 download_ok.go代码如下：

模块说明：该模块为处理200状态码请求，并将调用spiders提前定义的解析函数进行数据抽取。

5.3 download_rety.go代码如下：

模块说明：通过自定义的错误函数捕获错误类型，并开启重试机制进行重试，弥补了colly请求失败数据缺失问题。

6、pipelines模块分享，完整代码如下：

模块说明：pipelines在框架中职位主要是负责数据解析、数据持久化操作。

7、cralwer模块分享，代码如下：

总结：cralwer模块主要负责engine初始化及engine信号发送，驱动整个爬虫项目运行。

8、extensions模块，代码目录截图如下：

8.1 AddHeaders.go 源码如下：

模块说明：负责更换随机ua，防止spider被网站gank。

8.2 AddProxy.go 源码如下：

模块说明：该模块主要是给request设置代理，防止出现请求失败等错误。

8.3 URLLengthFilter.go 源码分享：

模块说明：对于url过长请求进行丢弃，Abort在OnRequest回调中取消HTTP请求。源码分享环节到这里就结束了，接下来我们运行代码，展示一下collyx爬虫框架性能吧！

四、框架demo展示

1、启动编辑好的案例代码，运行截图如下：

总结：爬虫运行5分钟后，在代理足够充足情况下统计，抓取该网站每分钟约产生2000条数据，可以毫不吹牛的说，这是我迄今为止见过最快的爬虫框架。

五、心得分享

今天分享到这里就结束了，对于collyx框架而言还有很长的路要走。我始终觉得只要努力，我们就会朝着目标一步步去实现。最后，感谢大家耐心阅读本文！