首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >爬虫学习(13):爬取坑爹网gif图

爬虫学习(13):爬取坑爹网gif图

作者头像
川川菜鸟
发布2021-10-18 16:13:41
发布2021-10-18 16:13:41
7090
举报

昨天学完了BeautifulSoup,爬取了诗词网,今天学了PyQuery,于是我选择爬取坑爹网 学啥用啥嘛,嘿嘿!

插个小曲:这是我qq群970353786,同在学习python,希望更多大神小白能跟我一起交流,我很多源代码也放到群里的,但是你进群问题回答print(“hello world”)结果是啥都回答不上还是不允许进。 效果:(都是动态gif的)

代码:(代码仅供学习参考,如果爬取内容有所侵权请联系我删除)

代码语言:javascript
复制
import requests
from fake_useragent import UserAgent
from pyquery import PyQuery as pq
headers={
    'UserAgent':UserAgent().random
}

url='https://kengdie.com/'#搞笑网网址

html = requests.get(url=url,headers=headers).content.decode('utf-8')

doc=pq(html)#初始化html字符串

img=doc('.card-bg img')#获取card-bg下内容的a标签

path='D://code//my python code//爬虫//image//'
for item in img.items():
    # print(item.attr('data-src'))
    title=item.attr('alt')#获取标题
    title=title+'.gif'
    src=item.attr('data-src')#获取照片地址
    src1=src.replace('mw200','large')
    src2=src1.replace('thumb150','large')

    response=requests.get(url=src2,headers=headers)
    with open(path+title,'wb') as f:
        f.write(response.content)
        print('下载成功:%s'%title)

我来缕一缕PyQuery与BeautifulSoup两个模块区别: 我觉得最大的区别就是BeautifulSoup返回的东西都装在一个列表,还要去单独遍历。两者都用到了CSS选择器,确实好用,当我学到这的时候,对比下之前的正则表达式,真是简单好多了。 CSS选择器的语法参考

代码语言:javascript
复制
https://www.w3school.com.cn/cssref/css_selectors.asp

如果对代码有问题,可以对我留言或者加群问我,我可以讲一下。

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2021/02/06 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档