Python从0到100（二十八）：requests模块的深入使用

作者简介： 985人工智能硕士、CSDN、稀土掘金双平台签约作者，CSDN专家博主&年度博客之星&人工智能领域优质创作者。欢迎与我交流学习~

在这里插入图片描述

1 使用requests发送POST请求

思考：哪些地方我们会用到POST请求？

1. 登录注册（ POST 比 GET 更安全）
2. 需要传输大文本内容的时候（ POST 请求对数据长度没有要求）

所以同样的，我们的爬虫也需要在这两个地方回去模拟浏览器发送post请求

2.3 代理IP的分类

根据代理ip的匿名程度，代理IP可以分为下面四类：

• 透明代理(Transparent Proxy)：透明代理虽然可以直接“隐藏”你的IP地址，但是还是可以查到你是谁。
• 匿名代理(Anonymous Proxy)：使用匿名代理，别人只能知道你用了代理，无法知道你是谁。
• 高匿代理(Elite proxy或High Anonymity Proxy)：高匿代理让别人根本无法发现你是在用代理，所以是最好的选择。

在使用的使用，毫无疑问使用高匿代理效果最好

从请求使用的协议可以分为：

• http代理
• https代理
• socket代理等

不同分类的代理，在使用的时候需要根据抓取网站的协议来选择

equests发送post请求使用requests.post方法，带上请求体，其中请求体需要时字典的形式，传递给data参数接收；在requests中使用代理，需要准备字典形式的代理，传递给proxies参数接收；不同协议的url地址，需要使用不同的代理去请求