Python网络爬虫headers的字典总是出现换行符这个要怎么处理呀？

Python进阶者

发布于 2024-06-24 20:40:11

590

发布于 2024-06-24 20:40:11

大家好，我是Python进阶者。

一、前言

前几天在Python钻石交流群【大写一个Y】问了一个Python网络爬虫的问题，问题如下：大佬们问个问题，我写了一个能把源请求头和cookies转换成字典格式的函数，运行之后cookies是成功了的，但是hesders的字典总是出现换行符这个要怎么处理呀研究2天了。

二、实现过程

这里【提请问粘给图截报错贴代源码】给了个思路如下：

【提请问粘给图截报错贴代源码】：这个是想练习语法吗，感觉转换这种的模块是有的

【大写一个Y 】：也有这方面因素，这么加吗？key, value = i.split("\\n",":"，1)# 分割键和值

【提请问粘给图截报错贴代源码】：不对，你这个原字符串在for循环就有问题，先把:\n替换成其他的，再分割。

【大写一个Y 】：我试试

这里瑜亮老师也给了另外一个思路：

【瑜亮老师】：json转换一下试试

【大写一个Y 】：好的谢谢我试试。

【大写一个Y 】：换了个方法，先把源头部转成列表，再用2的步长循环列表就可以了。

【瑜亮老师】：把最上面那个header内容发上来。你这样点两下，就复制出来了，而且结构很完整。不要用鼠标框选复制。

【大写一个Y 】：是的不过最终也不是字典的格式我就是想写一个函数让他一步到位。

【提请问粘给图截报错贴代源码】：你试下这个，就是我说的方法，先把:\n替换成别的，再分割。代码如下：dict(map(lambda x: x.split('@#%'), headers_source_data.strip().replace(':\n', '@#%').split('\n')))【大写一个Y 】：我试试啊

【瑜亮老师】也给了一个代码，使用库实现：

import json

s = '''authority:
www.qcc.com
method:
GET
path:
/web/search?key=%E6%B5%B7%E7%8E%8B
scheme:
https
Accept:
text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7
Accept-Encoding:
gzip, deflate, br, zstd
Accept-Language:
zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6
Cache-Control:
max-age=0
Priority:
u=0, i
Referer:
https://www.qcc.com/firm/f625a5b661058ba5082ca508f99ffe1b.html
Sec-Ch-Ua:
"Microsoft Edge";v="125", "Chromium";v="125", "Not.A/Brand";v="24"
Sec-Ch-Ua-Mobile:
?0
Sec-Ch-Ua-Platform:
"Windows"
Sec-Fetch-Dest:
document
Sec-Fetch-Mode:
navigate
Sec-Fetch-Site:
same-origin
Sec-Fetch-User:
?1
Upgrade-Insecure-Requests:
1
User-Agent:
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36 Edg/125.0.0.0'''

s = s.replace('"', '').replace(':\n', '":"').replace('\n', '","')
s = '{"' + s + '"}'
s = json.loads(s)
print(s)

你要是不想用json库，可以用这一行s = eval(s)。替换掉json那一行就行了。

顺利地解决了粉丝的问题。

如果你也有类似这种Python相关的小问题，欢迎随时来交流群学习交流哦，有问必答！