python爬虫抓取图灵机器人数据

微信号调用了图灵机器人api接口,数据需要登录图灵后台查看,有一天我看了下,忽然发现辣眼睛,简直被我同学玩坏了.............

登录图灵后台,发现数据导出需要加钱方能感动常在.......还是爬吧,观察请求,构造请求参数

请求返回数据json,有总记录数,分页数,关键是请求的时候 url参数如何构造 见下图 ,经过测试许多参数并不需要携带,具体可以看代码中请求的url参数

这样,大致的抓取方向就很清晰了.

构造url请求参数----带着cookie请求构造的url----接收返回的json数据,解析出总页数,迭代生成每一页的url请求---接收json数据---- 解析json数据--建数据表-入库

一.代码

二.数据

三.代码下载

https://github.com/chengcxy/Data_ETL/blob/master/tuling_api.py