市场调研与大数据

3月写的这篇文章,最近回过头思考,多了一些感悟,重新缕了一下.

市场调研公司,在互联网和大数据技术逐步崛起的时候,可能就开始被列为传统行业了,如果还有大数据技术还未能取代的东西,那应该就是它能继续走下去的支撑点.

感觉市场调研行业,某些业务还挺像机器学习里面的无监督学习,不需要也没有测试集来验证你的准确率,能名声大振的市场调研公司主要依靠它在行业里的口碑、数据的来源和数据的准确性.那些在十几年前抓住了机遇而崛起的几大市场调研公司会一直占领市场绝大部分的份额,毕竟大客户选公司就是靠这些信任,因为这些公司能做到采取数据的网点建设完善的.而且也可以发现,一般这样的市场调研龙头企业的甲方也大都是500强企业. 当互联网技术大大提高的时候,曾经抽样与随机的样本不再满足人们对准确率的追求,当技术已经能支持存储、传输与分析大量数据的时候,人们想要的是全体样本带来的客观.

说回数据采集,其实市场调研很多业务依旧停留在传统调查(例如抽样与问卷调查)的模式里,但在今天,人们更提倡从大且全的数据里还原ta的历史现象并做一些预测,所以那些传统调查的模式就显得十分传统,也无法达到更优的准确性. 要拿大数据挖掘与传统市场调查做关联,大概可以举例: 拿后台用户所有的行为数据做挖掘从而得到某决策的效应 VS 抽样调查用户反馈而总结决策的效应；爬虫技术 VS 一个个搜索总结竞品信息；信奉机器学习的人大概会呐喊道能拿代码解决的事就不要动用庞大的人力物力.其实这又有了一点人工智能的意味,人一旦尝到了冷冰冰的代码算法与机器能模拟人类智能并替代一定的人力的甜头时,就乐此不疲.但确确实实从人工操作到标准化到自动化也真的很吸引人.

在强调大数据技术的时候,尽管市调是一个多么需要人力的行业,恰好就是"人力"让某些业务能继续下去,也是为什么那些已经有数据技术驱动战略的甲方公司依然会把某些业务抛给市场调研公司的原因.例如一个线下广告投放的监测,无法避免的需要传统的人力监测,于是甲方公司给个预算外包给第三方公司就完事儿了. 但在如此强调技术驱动的进步的社会里,这样的项目在将来也会越来越少. 不过,大数据技术可以融入并应用到市场调研里,而融不进的部分就变成一种竞争或者说市调的优势. 数据挖掘追求客观并量化的结果,而市场调研的某些研究模式(如设计问卷、抽样做问卷调查等)掺杂了很多不可避免的主观性,因此结果会存在一定的争议. 像《大数据时代》里啤酒与纸尿裤的例子主张的：数据挖掘强调的是A和B两件事发生的关联性,而不是其中的因果关系,而恰好市场调研有时候可以解答某些现象的因果关系.

从新技术逐步普遍那时候开始,某些旧事物可能会被新事物替代,而替代不了的东西,存在即合理,但是这些新技术就可能是划分其为技术密集型还是人力密集型的界限了.