前言
随着现在直播的兴起,主播这个职业逐渐走入人们的视野。越来越多有颜值、有才艺的人纷纷加入到主播这个行业。但是主播最难熬的就是前期粉丝的积累,粉丝多人气就高。
接下来带大家爬取主播直播间人气数据,发现人气王!!
展示效果:
颜值区的主播人气值
本文知识点:
1、系统性的网页分析
2、数据处理
3、jsonpath模块的使用
环境介绍:
python 3.6
pycharm
requests
josnpath
爬虫的一般思路
1、分析目标网页,确定爬取的url路径,headers参数
2、发送请求 -- requests 模拟浏览器发送请求,获取响应数据
3、解析数据 -- jsonpath模块:JsonPath 是一种信息抽取类库,是从JSON文档中抽取指定信息的工具
4、数据输出
爬取数据
1、导入相关的数据库
2、分析目标网页,确定爬取的url路径,headers参数
URL地址:
headers参数:
3、发送请求 -- requests 模拟浏览器发送请求,获取响应数据
4、解析数据 -- jsonpath模块:JsonPath 是一种信息抽取类库,是从JSON文档中抽取指定信息的工具
字典根据值降序排列
sorted方法,sorted的三个参数:
iterable : 可迭代对象。
key : 主要是用来进行比较的元素,只有一个参数,具体的函数的参数就是取自于可迭代对象中,可以指定可迭代对象中的一个元素来进行排序。
reverse :排序规则,reverse = True 降序 , reverse = False 升序(默认)。
5、数据输出
enumerate枚举 enumerate多用于在for循环中得到计数,利用它可以同时获得索引和值,即需要index和value值的时候可以使用enumerate
领取专属 10元无门槛券
私享最新 技术干货