Python学习之常用项目代码（一）

写在前面

本篇是咸鱼日常撸视频的时候记录的一些代码实例，可以直接运用到项目中但是有些代码的可用性没有那么好，旨在分享思路，不喜勿喷~

搭建ip代理池(简易版)

推荐两个scrapy代理的项目

第一个是免费的代理插件，无需付费

第二个是需要付费的代理插件

撸视频的时候学到的代理池实例

获取西刺代理的代理列表并存入mysql数据库：

定义随机获取ip的类方法(包括删除无效代理)

在middleware文件中应用我们写的代理

自定义pipline的使用实例

pipline存储json(自定义json存储)

pipline存储json(使用scrapy自带的组件)

pipline中的存储mysql(阻塞)

pipline中存储mysql(异步)

如何在scrapy中随机切换UA？

随机UA下载中间件(初始版)

setting文件：

middlewares文件：

数据存错怎么办？

将redis数据库导入mongodb数据库

将redis数据存入mysql数据库