Python爬虫学习之代理IP抓取

萌海无涯

发布于 2019-08-06 15:05:38

59000

代码可运行

文章被收录于专栏：萌海无涯萌海无涯

运行总次数：0

代码可运行

Python爬虫学习之代理IP抓取

代理是个好东西！今天使用xpath来清理数据

运行效果：

# 主要用到的包

import requestsfrom lxml import etree
import pprint
import time

定义一个类，初始化内容添加进去

需要用到的url，请求头；

新建立一个列表来存储爬取的数据

class daili():
    def __init__(self):
        ''' 初始化操作'''
        # 起始url
        self.url = "https://www.xicidaili.com/nn"
        # 使用的是手机浏览器
        self.headers = {
            'User-Agent':'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Mobile Safari/537.36'
        }
        # 代理字典
        self.dl_list = list()

这个函数代码写的比较乱

1.请求url，获取返回的内容

2.构造了一个 XPath 解析对象

3.解析网页中的ip，端口之类需要的内容

4.保存数据

5.查找下一页内容

    def dl_pool(self, url):
        # 请求url
        txt = requests.get(url, headers=self.headers)
        # 获取url内容用于整理
        html = etree.HTML(txt.text)

        # 第一条是表头 一页100行数据
        for i in range(2, 102):
            item = {}
            # 遍历出一行数据
            ip_text = html.xpath('//*[@id="ip_list"]/tr[{}]/td/text()'.format(i))
            # 添加字典的对应键值对
            item["IP"] = ip_text[0]
            item["端口"] = ip_text[1]
            item["是否匿名"] = ip_text[4]
            item["类型"] = ip_text[5]
            item["存活时间"] = ip_text[-2]
            item["验证时间"] = ip_text[-1]
            # 添加到列表中
            self.dl_list.append(item)
        # 打印查看效果
        pprint.pprint(self.dl_list)
        # 查找下一页url
        next_page = html.xpath('//*[@id="body"]/div[3]/a[11]/@href')
        if next_page:
            # 下一页url拼接
            next_url = next_page[0].split('/')
            next_url = self.url + '/' + next_url[-1]
            print('下页地址',next_url)
            # 暂停 看下效果
            time.sleep(5)
            # 继续下一页
            return self.dl_pool(next_url)
        else:
            return

以下为全部代码：

import requests
from lxml import etree
import pprint
import time


class daili():
    def __init__(self):
        ''' 初始化操作'''
        # 起始url
        self.url = "https://www.xicidaili.com/nn"
        # 使用的是手机浏览器
        self.headers = {
            'User-Agent':'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Mobile Safari/537.36'
        }
        # 代理字典
        self.dl_list = list()


    def dl_pool(self, url):
        # 请求url
        txt = requests.get(url, headers=self.headers)
        # 获取url内容用于整理
        html = etree.HTML(txt.text)

        # 第一条是表头 一页100行数据
        for i in range(2, 102):
            item = {}
            # 遍历出一行数据
            ip_text = html.xpath('//*[@id="ip_list"]/tr[{}]/td/text()'.format(i))
            # 添加字典的对应键值对
            item["IP"] = ip_text[0]
            item["端口"] = ip_text[1]
            item["是否匿名"] = ip_text[4]
            item["类型"] = ip_text[5]
            item["存活时间"] = ip_text[-2]
            item["验证时间"] = ip_text[-1]
            # 添加到列表中
            self.dl_list.append(item)
        # 打印查看效果
        pprint.pprint(self.dl_list)
        # 查找下一页url
        next_page = html.xpath('//*[@id="body"]/div[3]/a[11]/@href')
        if next_page:
            # 下一页url拼接
            next_url = next_page[0].split('/')
            next_url = self.url + '/' + next_url[-1]
            print('下页地址',next_url)
            # 暂停 看下效果
            time.sleep(5)
            # 继续下一页
            return self.dl_pool(next_url)
        else:
            return
    def __call__(self, *args, **kwargs):
        ''' 流程控制 '''
        # 调用爬取函数
        self.dl_pool(self.url)
        # 格式化输出字典
        # pprint.pprint(self.dl_list)


def main():
    pp = daili()
    pp()


if __name__ == '__main__':
    main()