网络请求模块（2）

1. get 请求方式与 post 请求方式

get 请求

从服务器获取数据 没有对服务器产生影响 通常都是 get 请求、

请求参数在 url 地址上显示，时间戳就是后面的各种参数

post 请求

向服务器发送数据 会对服务器产生影响 通常都是 post 请求

请求参数不会在 url 上显示

就像百度翻译翻译一样他是一个动态加载数据，有道翻译是 ajax 请求，真正的 URL 在 XHR 里

2 User-Agent 用户代理

作用就是伪装爬虫记录用户数据，这会作为反反爬的第一步，更好的获取完整的 HTML 源码

3 urllib 模块

urllib 是 python 的一个内置的网络请求模块 ，内置函数还有很多如 time random 等

有时候需要结合我们的 requests 模块去综合使用 urlretreieve 参数说明 url: 外部或者本地的 url

遇到这样的如何获取源码

第一种方法
#urlencode
传入参数类型:字典
r = {'wd':"海贼王"}
对r这个字典进行解码操作
result = urllib.parse.urlencode(r) 
print(result)
wd=%E6%B5%B7%E8%B4%BC%E7%8E%8B
kw=%E6%B5%B7%E8%B4%BC%E7%8E%8B
   %E6%B5%B7%E8%B4%BC%E7%8E%8B

第二种方法  quote
r = '海贼王'
result = urllib.parse.quote(r)
print(result)

z_l = 'https://tieba.baidu.com/f?ie=utf-8&'+ result  # 拼接
print(z_l)

4 .urllib.request

urllib.request.urlopen("网址") 向网站发起一个请求并获取响应

字节流 = response.read()

字符串 = response.read().decode("utf-8")

urllib.request.Request"网址",headers="字典") urlopen()不支持重构 User-Agent

read() 读取服务器响应的内容

getcode() 返回 HTTP 的响应码

geturl() 返回实际数据的 URL(防止重定向问题)

5 urllib.parse

UnicodeEncodeError: 'ascii' codec can't encode characters in position 51-53: ordinal not in range(128) 报错信息 urllib 网络请求模块在想一个携带了中文的 url 发送请求的时候可能会出现问题。

方法就是转成 16 进制

urlencode 传入参数类型:字典 功能:将存入的字典参数编码为 URL 查询字符串，即转换成以 key1=value1&key2=value2 的形式

enquote 对 url 进行解码，把类似"%xx"的字符替换成单个字符

import urllib.request
url = 'https://www.baidu.com/'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36'
}
1 创建req请求对象并构建headers
req = urllib.request.Request(url,headers=headers)
print(req)  # <urllib.request.Request object at 0x0000022D35B9BB88>

2 获取响应数据
response = urllib.request.urlopen(req)

3 读取响应内容
html = response.read().decode('utf-8')
print(html)

getcode() 返回HTTP的响应码
print(response.getcode())
geturl()  返回实际数据的URL(防止重定向问题)
print(response.geturl())