Python爬虫神器requests库的使用

原创

南山竹

发布于 2024-11-07 22:37:35

38700

代码可运行

运行总次数：0

代码可运行

在现代编程中，网络请求几乎是每个项目不可或缺的一部分。无论是获取数据、发送信息，还是与第三方 API 交互，都会涉及到网络请求。

今天，我们就来详细介绍一下 Python 中的 requests 库，它是一个功能强大、使用方便的 HTTP 请求库。🚀

让我们从基础知识开始，一步步深入了解它的特性和实际应用场景。🌟

1. 安装 requests 库

首先，我们需要安装 requests 库。你可以在终端或命令提示符中输入以下命令：

pip install requests

这个命令会自动下载并安装 requests 库到你的 Python 环境中。安装完成后，就可以在代码中使用它了！🎉

2. requests 库的特性

requests 库有很多出色的特性，以下是一些主要特点：

简洁易用：requests 库的 API 设计非常直观，易于上手。
支持多种 HTTP 方法：可以方便地发送 GET、POST、PUT、DELETE 等请求。
自动处理 Cookies 和 Session：库内置了对 Cookies 的处理，可以轻松实现会话保持。
支持文件上传：可以轻松实现文件的上传功能。
处理响应：响应内容可以方便地转换为 JSON、文本或二进制数据。

3. 基本功能介绍

3.1 发送 GET 请求

GET 请求是最常用的请求类型之一。下面是一个简单的 GET 请求示例，我们将请求 https://httpbin.org/get：

import requests

# 发送 GET 请求
response = requests.get('https://httpbin.org/get')

# 打印响应状态码
print('响应状态码：', response.status_code)  # 状态码 200 表示请求成功

# 打印返回的 JSON 数据
print('返回的数据：', response.json())  # 将响应内容解析为 JSON 格式

3.2 发送 POST 请求

当我们需要向服务器发送数据时，可以使用 POST 请求。以下是一个发送 POST 请求的示例：

import requests

# 定义要发送的数据
data = {
    'title': 'foo',
    'body': 'bar',
    'userId': 1
}

# 发送 POST 请求
response = requests.post('https://httpbin.org/post', json=data)

# 打印响应状态码
print('响应状态码：', response.status_code)

# 打印返回的数据
print('返回的数据：', response.json())

3.3 设置请求头

在某些情况下，我们需要设置 HTTP 请求头来传递额外的信息。例如，模拟浏览器请求时，可以设置 User-Agent 头。以下是设置请求头的示例：

import requests

# 定义请求头
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3',
    'Accept-Language': 'en-US,en;q=0.9',
}

# 发送 GET 请求，并设置请求头
response = requests.get('https://httpbin.org/get', headers=headers)

# 打印响应状态码和返回数据
print('响应状态码：', response.status_code)
print('返回的数据：', response.json())

3.4 处理请求参数

有时我们需要在 GET 请求中添加查询参数。下面是如何实现的：

import requests

# 定义查询参数
params = {
    'userId': 1
}

# 发送 GET 请求，带上查询参数
response = requests.get('https://httpbin.org/get', params=params)

# 打印响应状态码和数据
print('响应状态码：', response.status_code)
print('返回的数据：', response.json())

4. 高级功能介绍

4.1 处理 Cookies 和 Sessions

requests 库支持会话管理，可以保持 Cookies。这样，我们可以在多次请求之间共享信息。

import requests

# 创建一个会话对象
session = requests.Session()

# 发送 GET 请求
response = session.get('https://httpbin.org/get')

# 打印响应数据
print('响应数据：', response.json())

# 在会话中发送另一个请求
response2 = session.get('https://httpbin.org/get')
print('多次请求响应数据：', response2.json())

4.2 文件上传

requests 库还支持文件上传。下面是一个示例：

import requests

# 定义要上传的文件
files = {
    'file': open('example.txt', 'rb')  # 以二进制模式打开文件
}

# 发送 POST 请求上传文件
response = requests.post('https://httpbin.org/post', files=files)

# 打印响应状态码
print('上传响应状态码：', response.status_code)

4.3 错误处理

在进行网络请求时，可能会遇到各种错误。我们可以使用异常处理来捕获和处理这些错误：

import requests

try:
    response = requests.get('https://httpbin.org/get')
    response.raise_for_status()  # 检查请求是否成功
    print('请求成功！数据：', response.json())
except requests.exceptions.HTTPError as err:
    print('请求失败！错误信息：', err)

5. 爬虫中的请求头设置

在进行爬虫时，设置适当的请求头非常重要。以下是一些常见的请求头：

User-Agent：浏览器的标识，用于告诉服务器请求来自哪个浏览器。
Accept：告诉服务器客户端能够处理的内容类型。
Accept-Language：告知服务器希望接收的语言。
Referer：指明请求的来源地址，通常用于防止跨站请求伪造（CSRF）。

例如：

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3',
    'Accept': 'application/json',
    'Accept-Language': 'en-US,en;q=0.9',
    'Referer': 'https://example.com/',
}

response = requests.get('https://httpbin.org/get', headers=headers)
print('响应状态码：', response.status_code)
print('返回的数据：', response.json())

6. 实际应用场景

requests 库的实际应用场景非常广泛，以下是几个常见例子：

数据抓取：使用 requests 库可以轻松抓取网页内容，进行数据分析或爬虫开发。
API 集成：在开发过程中，我们常常需要与第三方 API 交互，requests 库提供了简洁的接口来处理请求和响应。
自动化测试：在测试过程中，我们可以使用 requests 库对 Web 应用的接口进行自动化测试。

7. 总结

今天，我们全面了解了 Python 的 requests 库。从安装、基本功能到高级特性，这个库提供了许多便捷的功能，帮助我们轻松地处理 HTTP 请求。

在实际项目中，无论是数据抓取还是与 API 的交互，requests 库都是一个不可或缺的工具。

希望这篇文章对你有所帮助！如果你有任何疑问或想法，欢迎在评论区分享哦！😊

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

python

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

python

登录后参与评论

0 条评论

热度