今天我们要做的事情是使用动态爬虫来爬取QQ空间的说说,并把这些内容存在txt中,然后读取出来生成云图,这样可以清晰的看出朋友的状况。
这是好友的QQ空间10年说说内容,基本有一个大致的印象了。
爬取动态内容
因为动态页面的内容是动态加载出来的,所以我们需要不断下滑,加载页面
切换到当前内容的frame中,也有可能不是frame,这里需要查看具体情况
获取页面源数据,然后放入xpath中,然后读取
所有的注释都在代码中,所以也就不作详情说明,
昨天的模拟登录大家都应该掌握了,没有掌握的自己再去复习一下
爬取说说的完整代码
这样所有的说说内容就可以爬取到了。并且存到了同级目录中
生成词云
生成词云需要用到的库:
wordcloud, 生成词云
matplotlib, 生成词云图片
jieba ,这个库可用可不用,但我因为中文一直显示不出来,后来加上了这个库,就能显示中文了。
领取专属 10元无门槛券
私享最新 技术干货