我的数据心经06：如何结合活动，设计科学的模型效果评估方案

以连载的方式，记录自己学习数据分析的所想所得，共勉，不定期发布。如果文章内容有用，请你分享给有需要的朋友，谢谢支持。

写这篇文章，是因为看到一些产品运营或者数据童鞋，在验证模型的有效性上过于草率，缺乏严谨的科学态度，深感数据化运营的理念和方法，在企业推广应用上难度很大。最近在研究增长黑客的方法，同时打听到今日头条系（包括抖音、西瓜视频等）已经建立了200多人的增长团队（成员包括数据分析师、产品经理、设计师、开发工程师等，以增长为目标导向、增长黑客方法为核心手段的扁平化团队），内心表示羡慕，也证实在产品切合市场需求的前提下，基于科学的数据实验测试，依据增长黑客的方法，能加速产品发展，发挥数据的价值，头条系的成功案例（抖音在一年多时间，DAU上亿）是数据化运营具有强大动力的有力证明。希望此文能够对企业管理者、产品经理或者数据同事有一些启发或触动。

于数据分析师来说，辛苦搭建数学模型，模型训练的各项指标（准确率、查全率等）都很好，到了活动投放验证阶段，如果急于求快部署，不设计科学的活动评估方案，后期推广将无法量化、客观地评估模型效果。对于产品经理来说，如果脑袋里没有科学的活动评估方法，运营无疑于裸跑，所取得的成绩，不能量化，即使产品侥幸成功，也不知道所以然来。

以一个案例说明，如何结合活动，设置科学的模型验证方案：

假设某个阅读类app产品，通过决策树搭建了一个提升用户付费转化率的模型（找出更有可能付费的用户），现在要通过app的push消息（指app外，非app内的通知红点），投放活动来验证模型的效果。数据分析师和产品经理要注意哪方面的事项呢？

一、设置科学的对照组，号码排序要随机

1、验证模型的有效性，需要设置对照组号码

1）随机组号码：从符合要求的目标用户中，随机选取一部分，抽样要求一般要达到95%的置信度水平，误差在5%以内。

如果目标用户群较大（达到百万、千万级别以上），抽取几万至几十万，保证后期还可以做更深入的分层分析（例如可分析用户的画像或者行为，确认哪些用户更容易转化）。

如果用户群较少（如只有几十万），抽取用户数至少需要几千（理论上400左右的样本，已达到抽样要求，但为了减少因为投放渠道触达率低等原因，造成号码量减少，建议适当增加样本量）。

2）经验组号码：从符合要求的目标用户中，运营同事根据日常的活动经验判断，选取可能响应活动的目标用户，数量一般比随机组多。

3）实验组号码：就是通过数学模型挑选出来的号码，模型会给出用户参与活动的统计学概率，假如活动的目标用户群有1000万，模型会对1000万号码预测，给出付费转化的统计学概率（并非真实的付费转化率），按概率从高到低排序。如果活动资源有限，只能投放500万，则把概率高的500万号码给到产品运营同事进行投放。

2、三组号码合并，剔除重复号码，随机打乱排序后，再投放。

1）这里建议数据分析师，一定要把三组号码包合并剔重，再提供给产品运营同事，因为这种情况下产品同事实际上无法知道哪组是实验组，进而无法进一步做处理，减少误操作对实验的客观性的影响。

2）最好通过随机函数，把合并剔重的号码，重新随机排序。号码随机排序的好处是减少误差。本案例是通过app的push消息发送，理论上号码排列的先后顺序不影响用户的参与度（但很多系统性误差的产生，往往是你意想不到的），如果是通过电话外呼、短信发送等方式进行，那号码的排列先后顺序会严重影响实际效果。

二、画出响应率与投放量的关系曲线，计算出最大盈利点和盈亏平衡点的投放数量

这里先明确一下响应率的概念，本案例中，考虑到APP的消息push触达率并不稳定，我们可以设置响应率=付费成功人数/进入活动页面的人数，这里的响应率也就是付费转化率。

1、绘制响应率与投放量的关系曲线：通常而言，随机组的响应率是恒定的，实验组和经验组的响应率是随投放量增大而下滑，最后接近随机组的水平。正常情况下，实验组一般会比经验组好（见下图）。很多产品经理往往希望尽量投多一些号码，同时响应率保持较高水平，这是做不到的。所以，数据分析师需要绘制出这条响应率曲线，才能跟运营同事说清楚缘由。

对于实验组，假如投放了500万号码，我们可以计算模型预测概率靠前的不同投放数量（具体数量分区间，根据实际情况定），对应的响应率（即真实的付费转化率），从而绘制响应率与投放量的关系曲线。

对于经验组，绘制响应率曲线就非常困难，一般不绘制。如果硬要对比，只能依据经验筛选的条件来划分用户群，比如经验组投放了100万号码，运营同事认为，符合规则A的用户响应率>符合规则B的用户>符合规则C的用户>符合规则D的用户，ABCD类用户群互不重合，计算不同规则群体的响应率，从而绘制响应率曲线（但很可能结果就不是一条曲线了）。

其实每次活动投放都是有成本，有些投放的成本很低，几乎可以忽略，但有些付费渠道，成本是很高的，所以做好成本和利润核算是非常重要。本案例中的push消息，成本为活动资源、人工费用、机器损耗、电费、用户体验损耗（无形成本）等。

2、计算出最大盈利点和盈亏平衡点的投放数量

对于本案例，直接的经济收益为：本次活动用户总的充值收入

通过计算不同投放量，对应的直接经济收入和成本，可得出最大利润（利润=收入-成本）和盈亏平衡点所对应的投放量，可以给到产品运营同事参考。

三、定期评估和优化模型

经过真实活动验证模型有效果后，模型部署上线，正式应用。但通常模型使用一段时间后，效果是逐步衰退的（这里有各种因素影响，比如用户群体变化，有些建模的特征属性以前是有效的，后来无效等等），需要定期重新评估模型的效果，进行持续优化（增加新的模型特征、优化算法等等）。