简易微博分析
使用python爬取特定用户的微博,进行一些简单的统计
获取数据如下:
微博内容
发博日期
转发博主
转发内容
统计结果包含以下:
转发博主的前10名和转发次数
发博次数最多的前10个日期和数量
出现最多的10个词语
使用词语的词云图(出现次数超过3次的)
最新的10条微博
使用说明:
修改数据库配置:修改 weibo_analyze下面的settings.py的 DATABASES 部分。
修改要获取用户微博的uid,在 myweb/schedule_task.py里面的getWeibo方向里面(获取方法自行百度)。
如想修改停用词,在修改 myweb/stop_word.txt,一行代表一个停用词,停用词在分词时会过滤掉。
数据库建表,可以使用django命令生成(生成的需要将text类型字段改为blob类型,防止表情保存报错),也可以直接执行sql,sql在static文件下面。
效果展示
排行
词云
使用到的python组件:
requests: 进行网络请求
re 进行正则匹配
jieba 进行分词
apscheduler 进行定时任务
前端使用
echarts_wordcloud.js 词云
pure-css 前端样式css
领取专属 10元无门槛券
私享最新 技术干货