是否可以支持进入了第一个实验人群接着进入第二个实验?
支持,实验流量的正交控制,同一个人群可同时进入多个实验。
系统中的“域”、“层”和实验的关系?
“域”负责控制流量,“层”负责挂载实验,层受到域的流量控制,层与层之间正交,“实验”被赋予特定比例的流量,从而实现更好的流量复用及流量管理。
系统中的流量桶如何使用?
AB 实验平台设计了4种桶:
百分桶:默认用在域。
千分桶/万分桶/十万分桶:一般用在层,即一层由1K/1W/10W个桶组成,理论上桶数越多,波动越少。
在选择桶时尽量保证每个桶上都有用户,千万级别及以上 DAU 产品建议使用十万分桶,实验波动更少。
AB 实验平台支持创建的三种实验的含义和使用场景有何不同?
层域 AB 实验:一层存在多个实验,只能使用层内部分流量,适用于并行实验多的产品模块实验,或者与线上实验有明显冲突的实验。
独立层域 AB 实验:一层只有一个实验,可以占用层内所有流量,适用于并行实验少的产品模块实验,或者不会与线上实验冲突的实验。
可视化编辑实验:可视化编辑实验适用于想要在其网站上对更改进行编码的用户,可视化编辑器可根据可视化修改的代码生成不同的实验版本进行页面解析下发。
容易出现导致实验失败场景有哪些,一般怎么解决?
样本比例不匹配问题(SRM)是常见的一种导致实验失败的原因。SRM 问题主要是指实验组和对照组之间的实验分流单元数量(例如用户数、页面数、会话数等)的比率不匹配,体现为实验组和对照组的实际比例和理论比例(1:1)有所偏差。造成 SRM 的原因如果(通常)是系统性偏差(例如对照组因埋点 BU 原因丢失了全部从次级入口进入的用户),可能会严重影响 AB 实验结果的科学性(幸存者偏差)。