前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >如何使用爬虫技术评估内容营销效果

如何使用爬虫技术评估内容营销效果

作者头像
腾讯技术工程官方号
发布2018-01-30 11:52:22
1.9K0
发布2018-01-30 11:52:22
举报
文章被收录于专栏:腾讯技术工程官方号的专栏

文章背景

内容营销是互联网推广的重要手段之一,众多的市场部门均有涉及内容营销的推广,然而,它的效果量化是一个难题。显然,内容营销的实际效果完全是由互联网的用户群所决定的,如:产品的声誉、评价、关注度等指标。毫无疑问,这些指标数据都需要从外部获取,那么,外站数据的获取则是内容营销效果评估的基础,下载所得数据的代表性、覆盖面、时效性等因素都会影响到最终的评估效果。

2016年,鹅厂多个部门联合成立了XX联合项目组,目标是搭建专业、精准、实用、敏捷的内容营销评估系统。本文章通过总结XX联合项目的解决方案,来介绍下载抓取技术在内容营销效果评估领域的应用。

数据抓取需求分析

这里先简单介绍一下内容营销的运作模式。举个例子,当一款游戏研发完成,准备上线面向用户的时候,就会考虑使用内容营销去进行游戏的推广。第一步,通过渠道进行游戏内容的精准投放,来吸引潜在用户感知这款游戏,这一块通常是付费的;第二步,用户对内容有了情感的认同,会反映在社交平台上,通过赞/转/评的方式来表达;第三步,用户对内容进行扩散,让营销内容触及更多的潜在用户。

内容营销的渠道多种多样,有微信、APP、网站、微博、综艺节目、发布会、H5、视频、新闻等等。这些数据源就是内容营销评估系统的输入,如下图。

为了对营销效果进行量化,我们需要抓取各个渠道上的用户行为。为了使用正确的下载方案去感知S1(主动投放)和S2(市场反应),经过我们的分析,我们使用的抓取方案如下。

但是,无论是S1(主动投放)还是S2(市场反应),虽然说S2是使用元搜方式,但是本质上,元搜出来的结果仍然是一批URL,如图:

因此我们只要把元搜的URL下载下来,即可将S2转换成S1进行处理,把问题简单化。

视频/论坛类站点下载方案

给定视频URL,我们要获取数据包括视频的播放量、评论量、评论内容等。我们的处理方法如下:

论坛类站点的下载与视频类似,将论坛帖子每一条“回复”视作“评论”,第一页视作视频/新闻正文页即可。

新闻类站点下载方案

新闻类网站,其实属于资讯类网站。我们要获取的数据包括新闻的正文、标题、作者、评论数、评论内容等。

对于资讯类的下载,我们已经有一套完整的解决方案去抓取某一特定站点的资讯信息。如下图。

总体的上下游框图

S1上下游框架

S2上下游框架

上线情况

目前系统已经上线,覆盖了头部的新闻网站(万级)、视频网站(百级)、论坛板块(千级)。

我们对《X途》、《XX情缘》、《御龙XX》、《X诛仙》4款游戏的内容营销效果进行了数据抓取和效果量化评估,通过各项指标综合对比,发现《XX情缘》内容效果是最好的。

总结

内容营销效果评估系统的数据爬取部分——下载侧的任务取得了阶段性成果,初步满足市场部门对内容营销评估的业务需求。后续我们也将继续扩充数据源。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2017-02-20,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 腾讯技术工程官方号 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 文章背景
  • 上线情况
  • 总结
相关产品与服务
大数据
全栈大数据产品,面向海量数据场景,帮助您 “智理无数,心中有数”!
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档