开发环境
Python 3.8
Pycharm
模块使用
requests >>> pip install requests
parsel >>> pip install parsel
代理ip结构
proxies_dict...for ip, port in zip(ip_list, port_list):
# print(ip, port)
proxy = ip + ':' + port
proxies_dict...== 200:
print('当前代理IP: ', proxies_dict, '可以使用')
lis_1.append(proxies_dict)
except:...print('当前代理IP: ', proxies_dict, '请求超时, 检测不合格')
print('获取的代理IP数量: ', len(lis))
print('获取可用的IP代理数量...: ', len(lis_1))
print('获取可用的IP代理: ', lis_1)
总共爬取了150个,最后测试出只有一个是能用的,所以还是付费的好