Loading [MathJax]/jax/output/CommonHTML/config.js
首页
学习
活动
专区
圈层
工具
发布

Python新手写爬虫!尝试动态加载的电影网站爬虫

URL放上:gaoqing.fm,有兴趣的小伙伴也可以尝试下哦!

因为是动态加载的,所以url基本就没啥用了,我们直接使用浏览器的开发者工具查找真实网址(这个工作个人认为是整个过程中最难受的!),还好,这次很快就找到了

提取出来

http://gaoqing.fm/ajax.php?type=&country=&director=&actor=&year=&p=3&sort=

继续往后加载查找url,进行对比,查找规律

查找加载数据的时候,建议先清空,然后点击加载更多,这样新加载的就会出现,查找起来也方便一些哦!

再次找到url

http://gaoqing.fm/ajax.php?type=&country=&director=&actor=&year=&p=4&sort=

对比发现,&p=4&这里是控制页面加载页数的关键,然后就是写代码,导出,存盘的过程了,不啰嗦,直接上代码和结果,中间保存文件名的时候借鉴了网友的一段代码,大家感受一下!

各种清晰度的种子都已经到碗里了(▔▔),慢慢观看吧!

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180204A0BURK00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

交个朋友

加入腾讯云官网粉丝站
蹲全网底价单品 享第一手活动信息
领券
首页
学习
活动
专区
圈层
工具
MCP广场