首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

用python开发web项目-Django初尝试

简易微博分析

使用python爬取特定用户的微博,进行一些简单的统计

获取数据如下:

微博内容

发博日期

转发博主

转发内容

统计结果包含以下:

转发博主的前10名和转发次数

发博次数最多的前10个日期和数量

出现最多的10个词语

使用词语的词云图(出现次数超过3次的)

最新的10条微博

使用说明:

修改数据库配置:修改 weibo_analyze下面的settings.py的 DATABASES 部分。

修改要获取用户微博的uid,在 myweb/schedule_task.py里面的getWeibo方向里面(获取方法自行百度)。

如想修改停用词,在修改 myweb/stop_word.txt,一行代表一个停用词,停用词在分词时会过滤掉。

数据库建表,可以使用django命令生成(生成的需要将text类型字段改为blob类型,防止表情保存报错),也可以直接执行sql,sql在static文件下面。

效果展示

排行

词云

使用到的python组件:

requests: 进行网络请求

re 进行正则匹配

jieba 进行分词

apscheduler 进行定时任务

前端使用

echarts_wordcloud.js 词云

pure-css 前端样式css

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20190117G0SY4200?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券