Python爬虫实战

原作 | 行云流水 编辑 | alany

做了三年的测试，开发的知识学了不少，心血来潮，在测试空闲期写一个小项目消遣一下。

项目的整体构思和流程如下：

1. python 爬虫爬取糗事百科，将需要的元素取出来插入到数据库中；

2. java 开发一个接口，以json的形式展示，并分页；

3. android 写一个apk，解析json接口，用listView展示数据，并分页。

本篇讲解第一部分，利用python爬虫爬取糗事百科的数据。

环境准备：

python环境，安装lxml,pymysql，可以进入到python环境下的script目录下用 pip install安装

数据库：安装MySql，并创建数据库表

上代码：

1> 建表语句：

2> 分析URL：

打开糗事百科网站，并翻页，我们可以发现page后面的参数表示页数：

3> 爬虫代码：

爬取完成之后查看数据库是否有数据写入：