关于A/B测试

对于某个产品的某个功能，某个排版，甚至是某个按钮的颜色，我们很难去判断出那个更好的时候。

在直观上很难判断出孰好孰坏的情况下，进行A/B测试是最有效的方法之一。

对于A/B测试，并不是说简单的把几个试验版本在同个渠道上线就OK了。

要实现A/B测试，我们需要做以下的相关工作：

（1）开发两个或者以上的版本并部署

（2）选择相应收集的数据

（3）分析数据结果并且得出结论

实践方法

A/B 测试需要将多个不同的版本展现给不同的用户，即需要一个“分流”的环节。分流可以在客户端做，也可以在服务器端做。

传统的 A/B 测试一般是在服务端分流的，即基于后端的 A/B 测试（Back-end AB test），当用户的请求到达服务器时，服务器根据一定的规则，给不同的用户返回不同的版本，同时记录数据的工作也在服务端完成。

基于后端的 A/B 测试技术实现上稍微简单一些，不过缺点是收集到的数据通常是比较宏观的PV（Page View）信息。虽然可以进行比较复杂的宏观行为分析，但要想知道用户在某个版本的页面上的具体行为往往就无能为力了。

基于前端的 A/B 测试则可以比较精确地记录下用户在页面上的每一个行为。它的特点是，利用前端 JavaScript 方法，在客户端进行分流，同时，可以用 JavaScript 记录下用户的鼠标行为（甚至键盘行为，如果需要的话），直接发送到服务器记录。

A/B测试的四大原则

（1）多方案同时段并行测试

（2）测试方案只有一个唯一变量

（3）用户行为数据收集

（4）定义核心指标

A/B测试可能需要注意的事项

（1）一定要是单变量。如果两个版本，每个版本有2处不同，最终分析的时候很难确定是哪个优化导致的指标变化。

（2）设置对比观察数据组，即没有任何调整的情况各项数据指标如何，用于实验效果对比分析。

（3）A\B测试不是要让你用最新的技术、最新的软件或者算法，大部分时候一个纸上的原型或者线框里5秒钟的测试都能帮你找到方向。好好利用那些简单、低廉的测试方式。

（4）做好置信水平，置信区间等相关方面（统计学学得不到位，这方面就不瞎BB了）

（5）如果对于流量的分割不准确的话可能就会陷入辛普森悖论。