前任三经典台词:
成长不一定会得到什么,
但一定会失去什么。
最近小编的空间都被前任3刷屏了,小编觉得很奇怪,为什么这部电影这么火,然后小编就去看了一下,笑边哭的稀里哗啦,终于知道为什么这么火了,但还是忍不住爬取了一下数据。言归正传还是希望大家能多学一下python知识的。如果大家在学习Python的过程中遇到不懂的问题可以加小编的企鹅,可以帮大家答疑,你需要什么资料我也会提供给你的哦(一九四三六二二六四八)
流程如下:
创建一个Scrapy项目;
定义提取的Item;
编写爬取网站的 spider 并提取 Item;
编写 Item Pipeline 来存储提取到的Item(即数据)。
提取数据库数据,处理展示
创建项目,终端输入
项目结构(不包括后续配置)
scrapy实现模拟登录
okies的写法,可以与request中cookie的写法对比下
这里我用了两种方法解决这个问题,第一个是加cookie,效果不太理想,我换了第二种采用登录的方式。
词云和分布图展示
额~,词云图好像并不能看出什么~而分布图表达的结果也并不直观,那就代表本次的结果没有什么卵用,好吧!
领取专属 10元无门槛券
私享最新 技术干货