在文章: Python爬虫——利用PhantomJS下载动态加载图片中,我们已经知道了如何利用PhantomJS来下载网页中动态加载的图片。本次分享的目标是,下载动漫网页中的漫画,示例网址如下:http://comic.kukudm.com/comiclist/43/ .
动漫网页
分析上面的网页,如果要将页面中的漫画都下载下来,那么首先必须要分析每卷漫画的网址,具体代码如下,其中url_lst为每卷漫画的网址,file_lst为每卷漫画的名字。
接着需要对每卷漫画进行下载,可以利用for循环遍历url_lst.利用PhantomJS先分析出每卷漫画总的图片数,利用网址的变化规律(就是网址前面的部分不变,数字部分即为图片的编号)去下载每一页的漫画。还有一个比较重要的问题,就是如何解决urlretrieve下载不完全的问题,这个已在上一篇文章中讲过。具体实现的代码如下:
这样我们就能愉快地在这个网站上下载自己喜欢的动漫啦~笔者的测试如下:
浪客剑心下载文件夹
附上全部代码,欢迎大家测试,也欢迎大家交流~~如有不足之处,还请批评指正^o^~
领取专属 10元无门槛券
私享最新 技术干货