接触博客园有不短的时间了,今天突然想到,我们博客园各位博友,一天中哪个时间段比较活跃?又有多少夜猫子在深更半夜,冒着“聪明绝顶”的风险熬夜码字看博文?首页所有博文中,哪个博友发布博文数量最多?又是哪个博友大范围“收割”阅读量和评论量?我们的各类排行榜中,谁能独占鳌头?
今天,博主就现学现卖,用刚学完基础知识的 python 爬取下博客园相关数据,给大家分享下咱们博客园那些隐藏的“小秘密”。
方案
想法出现了,怎么实现呢?
第一反应就是想获取各位博友的登录信息和访问记录。这些数据应该是最准确的统计了。
但是,不幸的是,博主把博客园翻了个“底朝天”,也没有找到哪些地方能获取到各位博友的登录信息和访问记录。
想想也是,这些相当于各位博友的私密信息了,怎么会公开呢?咱就不痴心妄想了。
爬不到登录信息和访问记录,还能用哪些数据呢?
博主想了下,咱们在博客园逛游,一般都会先去首页看下有没有什么有趣的技术或者人生经验分享,碰到感兴趣的还可以和博主聊聊,缓解下紧绷的神经。
那既然首页是多人访问的页面,我们统计首页博文的浏览量和评论量,应该也能在一定程度上反映出各位博友的活跃时间了。
于是,统计方案就定下来了:
获取首页博文的浏览量和评论量,按时段进行统计。
实现
目标:
获取首页博文的浏览量和评论量
爬取数据
这还不简单,哪怕博主我是刚学完基础知识,也知道 python 在爬取 html 元素方面是专业的。
一番折腾,终于按小时分段,获取到了第一页博文的浏览量和评论量:
第一页拿到了,离所有数据还远吗?
事实证明,真的挺远的、、、
当博主想拿第二页的数据时,很明显的可以看到第二页的地址是:
https://www.cnblogs.com/#p2
于是博主这样做了
看出来了吗?博主是直接将地址栏里的地址拼接上页码,想获取到对应页码的数据。
事实证明,还是太嫩了。运行了好几次,发现统计数据明显不对,获取到的第二页的数据明显不是浏览器显示的。
翻到第二页,看着页面元素,和第一页的一样啊,怎么爬到的数据就不对呢?
作为一个后端开发,马上就意识到,在后面的页码页,肯定有额外的 ajax 请求,获取对应数据,展示到页面。
翻到 network,果不其然。在非第一页的页面中,都会请求一个接口,获取指定页码的数据。原因找到了,赶紧修改请求地址和请求方式。
至此,首页博文的总浏览量、评论量以及发布数量已经按小时为区段进行汇总了。
存储数据
数据拿到了,下一步就是数据存储了。这里,我们选用最简单的 excel 表格存储,也就是将统计的数据导出到 excel 表格中,以供后续分析统计。
这样,我们就将数据存储到 excel 表格中了。
分析数据
下一步就是数据分析。由于个人能力所限,这里先用 excel 表格进行相关的统计。
由于博客园只提供 200 页的数据量,最后的数据到 8 月 20 日左右,所以 9 月份和 10 月份的数据是比较完整的。但是考虑到 10 月份有十一假期的原因,以及当前时间距离十月份较近,所以最终取 9 月份的数据进行相关统计。
周数据
上图是 8.25-9.30 连续 5 周的数据统计,0 表示 周日。由图可以比较明显的看出一些趋势:
每周的前四天是博文发布数量较高的,后三天发布数量明显减少;
查看人数和评论人数的趋势较为相符,两者的比例在 208:1 左右,也就是说平均 208 个阅读里面才会 1 个评论。
这里博主比较不解的是,为什么会在每周一有一个阅读高峰期?难道刚休息完,周一的时候会更有动力看博文补补课?
天统计
上图是 9.3 - 9.6 按小时分段统计数据。可以看出:
博文发布一般集中在上午 8-10 点,下午的 16-18 点以及晚上的 20-22 点
看来各位博友晚上即使不加班的也会努力码字啊,抓住下班后的两小时,很棒的习惯诶,博主也要更加努力向各位博友看齐了。
最后,就是我们的重磅戏,各类排行榜。这里需要将时间分组修改为发布作者名称分组。
各类排行榜
以上排行榜数据时间段: 2018-08-21 09:24 至 2018-11-07 09:27 。
好了,园子的小秘密就分享到这里。有兴趣的博友可以发掘下其他的小秘密。注意不要恶意攻击噢!
源码地址:https://github.com/zibinli/python
喜欢就给个大拇指吧!
本文完~
领取专属 10元无门槛券
私享最新 技术干货