家养爬虫的Python技术 | 资料总结

之前有一个讨论：

• 文本分析怎么整？

文本分析，一个很重要的环节就是网络的数据爬取。爬虫是获取数据的一个重要手段，很多时候我们没有精力也没有资金去采集专业的数据，自己动手去爬数据是可行也是唯一的办法了。所以，本文对如何“家养”爬虫的技术资料进行了系统的总结。

因为Python提供了一批很不错的网页爬虫工具框架，既能爬取数据，也能获取和清洗数据，因此本文总结的资料主要是关于Python的，适用于零基础的同学。

1. Python

如果完全没有Python的基础，建议看下面的教程如个门：

【统计师的Python日记】

• 第1天：谁来给我讲讲Python？
• 第2天：再接着介绍一下Python呗

（直接点击）

2. 初级爬虫

【推荐资料】

Python爬虫学习系列教程

http://cuiqingcai.com/1052.html

这个资料可以帮助我们了解一下爬虫的初级内容，如URL的含义、urllib和urllib2库的使用、正则表达式、Cookie的使用等等，也熟悉一下后面可能用到的基本名词，比如response、request等。

（在微信公众号里回复【sasre】，看正在更新的SAS正则表达式系列，至少可以了解一下什么是正则表达）

3. Scrapy

大名鼎鼎的Python爬虫框架—Scrapy。Scrapy是为了网页抓取所设计的应用框架，也可以用在获取API（例如 Amazon Associates Web Services ) 所返回的数据或者通用的网络爬虫。

这里分享一些数说君总结的资料。

（1）Scrapy的安装

分享一下我自己在windows环境下的安装方法：

• 安装Anaconda。Python的很多库装起来很麻烦，我周围很多朋友在刚接触Python的时候，都被各种安装折磨的”不想在继续学下去了“。而Anaconda是一个开源的免费的python类库的集合，里面自带200+的包和各种依赖包。
• 安装Scrapy库。Anaconda自带那么多东西，但是没有Scrapy，没关系，它自带了各种依赖库，所以安装起来没有那么多阻碍，直接在cmd中输入： conda install scrapy

以上就完成了安装。在cmd中尝试输入

scrapy startproject myspider

咦，已经创建一个爬虫项目了呢！

（2）入手一个例子

我个人的习惯是，不喜欢一上来就学习很多理论性的东西，偏好从一个例子入手，依样画葫芦的写一遍代码，让我更有想要了解的动力。

【推荐资料】

建立一个简单的爬取南邮新闻标题的爬虫demo

http://t.cn/RLeN3eF

这篇文章用一个很简单的例子，把整个流程走了一遍，初步了解的Scrapy的框架，也留了很多不懂的地方，以待下一步的学习。

（3）系统学习Scrapy

当然是官方文档了：

http://doc.scrapy.org/en/latest/intro/install.html

这里也有好人进行了翻译：

https://scrapy-chs.readthedocs.org/zh_CN/1.0/index.html

当涉及到一些其他的知识的时候，文档会给出相关的资料链接，这点真的太棒了，并且中文版本或给出中文的资料链接！

比如关于xpath的：

（4）试着爬取一些熟悉的网站

一边学，可以一边试试手，爬一下自己熟悉的网站。

这里有几个例子供大家参考

• Scrapy 抓取豆瓣电影 http://t.cn/Rbuad4r
• 利用Python抓取亚马逊评论列表数据 http://www.tuicool.com/articles/nUvIja
• Scrapy轻松抓取bbs数据 http://t.cn/RbuasDs

关于Python爬虫，欢迎大家一起交流，在最下方的评论区里留言。

也欢迎参与文本分析的讨论：

• 文本分析怎么整？

将会继续为大家带来网页爬取、文本分析的资料总结。