如何评估某活动带来的大盘增量 ｜ 得物技术

1引言

双11期间上线某功能/活动，用户开通后参与能给大盘带来交易增量吗？ 业务第一反应大概率是说“会！”。那么，某活动/功能上线与大盘交易提升之间确实存在因果关系吗？如果真实存在，具体增量是多少？

2分析过程

为了判断之间的具体联系，可以从5个步骤、2种常见判断方法进行分析。

2.1 明确原因是什么

从前文可知，双11期间业务上线了某活动/功能。

2.2 明确结果是什么

给大盘带来了更多交易用户/订单/gmv。

2.3 确认3个要点

是否纯属巧合？不好评价，从趋势上来看，该活动上线之后大盘支付人数确实同期在提高；但正值大促，即使不做活动大盘交易大概率也会增长。

• 是否存在同时影响原因和结果的第三变量？ 一个参与了活动的用户，比起没有参加活动的用户，本身活跃度或成熟度更高，而平台活跃和交易成熟对是否产生购买是很关键的因素。所以，存在第三变量。
• 是否存在逆向因果关系？ 到底是活动刺激使更多用户下单？还是高概率下单的用户更有意愿参与这项活动？

2.4 制造反事实

如果双11期间没有上线这个活动，大盘交易量会不会减少？

2.5 调整到可比较状态

很明显，如果将大促期间参与了活动和不参与活动的人分成两组，因为参与活动的用户更活跃更成熟，而不参与活动的用户质量相对较差，这种明显选择性偏差的存在，导致直接对比是不公平的，不存在可比性。必须把两组数据调整到可以比较的状态，分组用户上要真正体现出“随机”性。常见的有2种判断方法，包括随机对照试验、双重查分法。可根据实际背景条件选择使用。

• 随机对照试验，即通常所说的AB测试。假设大促期间采用了ab实验，活动上线时将大盘所有用户随机分成的两组，一组能够参加活动（干预组），另一组不能参加活动（对照组），然后通过观察两组用户在大促期间的交易表现，对比得出最后的结论。
• 双重差分法，适用于没有做实际随机对照的场景，例如大促期间全量上线了该活动。第三部分会重点介绍该方法的使用。

3双重差分法

3.1 基本思想

在没有随机实验的情况下去模拟一种随机分配实验。锁定目标用户，模拟实验分组，然后跟踪不同用户组在受活动干预前后的大盘交易表现。

前提假设

• 始终不开通参与的用户 VS 有开通/参与的用户的场域效应相同，即目标指标的趋势平行；
• 受到干预期间，没有出现影响目标值的“其他变化”。

图示

3.2 计算逻辑

3.3 具体步骤

3.3.1 分组

将全部的样本数据分为两大组，分组逻辑是根据是否受到营销活动干预。 实验组：受到营销活动的干预影响，根据影响程度又可以分为「平销已开通」影响复购动支，「平销未开通->大促新开通」 影响开通和动支。 对照组：没有受到同一活动的干预影响，表现为用户「始终未开通」。

3.3.2 目标选定

确定观测的目标指标，大盘动支率、户均大盘gmv。

3.3.3 验证分组合理性

随机圈选平销期（10.10为例）用户，观察不同分组在10.10-11.11期间的户均gmv变化趋势是否一致。

• 10.10日新开通用户、10.11-11.10期间中途新开通用户在临近10.10日阶段与波动较大，与其他分组差异较大，不作为后续分析可用分组。
• 始终未开通、始终开通、双11当天新开通三个分组的用户，在10.10-11.10期间变化趋势一致、差异基本保持稳定。可作为后续分析可用分组。

3.3.4 差分

验证完满足假设前提后进行两次差分，第一次差分得出干预前后总差异，第二次差分得到干预净效应。

• 第1次差分： 分别对在干预前后进行两次差分（相减）得到两组差值，代表实验组与对照组在干预前后分别的相对关系；
• 第2次差分： 对两组差值进行第二次差分，从而消除实验组与对照组原生的差异，最终得到干预带来的净效应。

3.3.5 方法小结

优点： 较为客观的去除场域影响，剥离出由营销活动干预下带来的大盘增量。能基本解决“大促期做的营销活动对于大盘的影响”。

不足： （1）大盘收益，同一时间段多个活动共同干预时，无法剥离单个活动效益大小。如，11.11当天，针对新客既做了活动1，又做了活动2，则无法分别评估活动1、活动2的效果。

（2）无法涵盖“所有”增量。如平销期与大促期之间新增用户、中途开通的用户表现。