服务器使用Nginx搭建HTTP爬虫代理

Linux系统（CentOS为例）

应用场景：

编写爬虫时经常需要用到代理，然而免费的代理又很不稳定，最理想的就是在自己服务器搭建nginx正向代理服务。

1、 在官网下载最新稳定版本的 Nginx安装包：http://nginx.org/download/nginx-1.10.3.tar.gz

2、 默认配置编译安装 ( 需要先安装nginx所需的依赖库 )

① 依赖库安装

②nginx编译

Nginx编译参数详解(自行百度，不懂不影响后续操作)。

③ nginx安装

3、查看服务器可用DNS，下面配置nginx需要用到

远程连上自己服务器，执行一下命令

如存在多个，任选一个就行了。

4、 修改nginx运行配置文件 [ nginx 默认安装在/usr/local/nginx/下 ]

如果没有Vim，自行安装

编辑完成后保存退出，重启Nginx。

nginx启动：

nginx停止：

nginx重新加载配置：

5、Python代码测试

如下图，打印出的IP地址如果为你服务器公网IP，那么恭喜你，搭建成功了。

终于可以愉快的spider了。