迫于种种原因,有时候我们不得不做一些流量转发的操作。
比如写爬虫。
写爬虫时,时常要与目标网站的“运维”、“程序员”斗智斗勇,而“代理”作为行走江湖必备的入门级杀手锏,自然是要逢场必上。
而这个“杀手锏”是不是那么好用却与代理的数量、质量息息相关。
我时常苦恼于“维护代理”和“切换代理”的麻烦,我堂堂一代“爬虫大王”,冉冉升起的“东方新星”,万千少女的。。。呃,好像有点扯远了。总之,怎能沉溺于区区“代理切换”这种微不足道的小事中。
那么,如果可以用一个二级代理来封装这些事情岂不美哉!
所谓空想不如实干!于是抓起Python就撸了一个流量转发程序。
程序不长,去掉空行只有45行,但完整的实现了流量转发的功能,基于ssclient实现了二级代理,完整代码如下:
流量转发既已实现,剩下的事情就很好解决了,无非是维护一个可用的“代理池”,在转发流量的过程中随机选取一个可用代理,之后进行流量转发即可。
领取专属 10元无门槛券
私享最新 技术干货