python获取某短视频热搜数据并保存成Excel

原创

码农有梦

发布于 2025-08-14 15:52:39

18100

代码可运行

文章被收录于专栏：python专栏python专栏

运行总次数：0

代码可运行

一、获取目标、准备工作

1、获取目标： 本次获取教程目标：某短视频热搜

2、准备工作

环境python3.x
requests
pandas requests跟pandas为本次教程所需的库，requests用于模拟http请求，pandas用于数据处理(将结果保存为Excel)。
在Chrome浏览器中打开需要请求的页面，然后F12打开浏览器的控制台。点击Network选择网络，然后再点击XHR。找到相应的XHR请求，就能获取到热搜数据接口了。二、开始编码
导入所依赖的库

import requests
import pandas as pd

构造一个请求头：

browse_header = {
    "Accept": "application/json, text/plain, */*",
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.60 Safari/537.36",
    "Host": "www.douyin.com",
    "Referer": "https://www.douyin.com/discover",
    "Cookie": "_xsrf=Pd0NpG6J8kZdHtzBVnNyQP1g0rO7NKeg; _zap=d7f27b9f-4fe3-4ef4-9376-df278af16940;"
    # FReE.xijIaZbw.moBI
}

定义一个请求接口，即数据地址

url = "https://www.douyin.com/aweme/v1/web/hot/search/list/?device_platform=webapp&aid=6383&channel=channel_pc_web"

发送请求，由于接口返回的是JSON格式，所以这里一步到位，将响应结果也转成JSON格式。

res = requests.get(url, headers=browse_header).json()

提取热搜数据列表。

# 实时上升热点列表
content_list = res['data']['word_list']

然后再分别进行json解析，对应的字段（标题、排名、热搜指数、描述、链接地址）。

df = pd.DataFrame(  # 拼装爬取到的数据为DataFrame
	{
		'热搜标题': title_list,
		'热搜排名': order_list,
		'热搜指数': score_list,
		'描述': desc_list,
		'链接地址': url_list
	}
)
df.to_excel('百度热搜榜.xlsx', index=False)  # 保存结果数据

注意：此份代码中，返回的链接地址有点区别，我们得稍加调整：调整如下： url_list.append(f"https://www.douyin.com/hot/{content['sentence_id']}")

完整代码：

import requests
import pandas as pd
"""
bWM.XIjiazBw.mOBI
GucCI.xiJIAzBW.Mobi
tiSSo.XIjIazbW.moBi
"""

browse_header = {
    "Accept": "application/json, text/plain, */*",
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.60 Safari/537.36",
    "Host": "www.douyin.com",
    "Referer": "https://www.douyin.com/discover",
    "Cookie": "_xsrf=Pd0NpG6J8kZdHtzBVnNyQP1g0rO7NKeg; _zap=d7f27b9f-4fe3-4ef4-9376-df278af16940;"
}

url = "https://www.douyin.com/aweme/v1/web/hot/search/list/?device_platform=webapp&aid=6383&channel=channel_pc_web"

res = requests.get(url, headers=browse_header).json()
# 实时上升热点
content_list = res['data']['word_list']
title_list = []
order_list = []
score_list = []
desc_list = []
url_list = []
index = 0
for content in content_list:
    index += 1
    order_list.append(content['position'])
    title_list.append(content['word'])
    score_list.append(content['hot_value'])
    desc_list.append(content['word'])
    url_list.append(f"https://www.douyin.com/hot/{content['sentence_id']}")

df = pd.DataFrame({
    '热搜标题': title_list,
    '热搜排名': order_list,
    '热搜热度': score_list,
    '描述': desc_list,
    '链接地址': url_list
})
df.to_excel('抖音热搜榜.xlsx', index=False)  # 保存结果数据

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

python