（十）如何进行A/B测试？

对于平台化产品，产品和运营一直在解决的核心价值问题是---如何让用户用最快的速度找到并消费自己感兴趣的、急切需要的、超越期待的好内容，好服务。每一次的产品优化都应该经过数据精确的衡量，A/B测试是一个提供决策数据的好方法。

A/B测试，简单来说，及时为了同一个目标制定两个方案（如两个页面），让一部分用户使用A方案，另一部分使用B方案，记录下来用户的使用情况，看那个方案更符合设计。当前A/B测试已经逐渐成为产品与运营检测产品如何一步步提升留存和收入的重要方法。有效利用A/B测试，也可以快速告诉你更多个方案中的那个方案更有效，省去构筑方案中遇到的种种麻烦。

不过，A/B测试根本不是互联网行业的新发明。在流水线生产、快消领域，A/B测试早就证明了自己的价值，远比大多数万众创业者“重新发明商业模式”的性价比要高。如果不相信，我们来看下，硅谷的产品是如何用A/B测试优化业务的。

一、提高转化率

我们一Frank&Oak为例，这是一家男装电商，他们根据用户个人兴趣和操作行为，为用户打造定制化推荐的购物体验，这是他和其它电商网站相比的优点。但是和国内的美丽说类似，只有注册账号，登录app，才能获得这种个性化体验。

因为是否注册登录是用户转化的第一个关键步骤，Frank&Oak首先针对注册流程进行了A/B测试。他们先尝试改变登录模块的位置、表单交互，之前他们的第三方登录只支持facebook账号，在这个版本他们想测试增加一个google账号登录，看看是否会提高注册率，最终的测试改动如下：

通过A/B测试结果显示，增加了google登录按钮之后，移动注册量提高了150%。

虽然Frank&Oak只尝试几次就获得了巨大的成功，你可以需要调整很多次才能够找到奏效的方法。下面是一些你可以用来测试登录页的着眼点，帮助你引导用户从搜索商品到完成注册。分别为：

对登录行为进行漏斗模型分析

信息表单的填写

文本和图像的引导

更多的登录方式

二、激活

当你的用户完成注册环节时，你需要去激活他们。商业上来说，这意味着促使用户尽可能快的去买东西。为了完成这个目标，研究显示你需要的最开始的两个流程内让他们完成购买，不然很可能他们就再也不会回来了。

例如：Karmaloop在分析用户激活数据的时候发现：先将物品放到了心愿单的用户比那些将物品放入购物车的用户的完成购买率低。Karmaloop分析了这个情况后做了一个尝试：在设计上弱化“心愿单”按钮的存在感。

降低用户与心愿单之间的交互使得Karmaloop更好的抓住了用户的购物意图。这个简单的测试提高了用户活跃度，提升了35%的销售额。有时候你不需要完全删除一个功能，一些小小的改变就足以达到目标。

三、提高内容利用率

对于内容类网站的app，推荐内容的压力每天都在增加。尤其是花了大价钱在自制剧，购买版权、限时分成、保底买断方面的视频网站，他们最应该担心的就是内容利用率过低--比如首页和分类页点击率不足、比如用户只能通过搜索才能找到好内容、比如内容订阅率太低或者回访率太低。一向自称“我们是一家技术公司而不是电影公司”的NETFLIX在这方面称得上是业界良心，尤其是对首页的有效利用堪称一绝。

新用户登录时看到的NETFLIX首页，推荐的内容是NETFLIX的常青王牌剧《纸牌屋》。

当我第二次访问时看到的NETFLIX首页，首先从常青剧换成了新剧《怪奇物语》，可以看到根据一些用户习惯，下面的NETFLIX独家内容开始出现了一些倾向。

别人的账号里的同一天看到的首页完全不同，看到的脱力喜剧《福是全家福得福》。

切换儿童账号后：

未登陆之前的首页，强调的是海量内容。

在成为以个性推荐知名的产品之前，NETFLIX深知，获取用户信任不是一件简单的事。

NETFLIX的工程师Gopla Krishnan在自己的博客上记录道：

一个产品功能或内容，如果无法在90秒内获取一个用户的注意，用户很可能就会失去兴趣，并且转向其他行为。这些问题如果反复发生，可能是因为我们没有为用户呈现正确的内容。如果回溯原因，则是因为我们没有足够的根据，证明用户为何喜欢某一个内容，因此没有用正确的思路去呈现内容。

于是NETFLIX在2013年做了一次大规模的A/B测试（实际上是A/B/N测试），看看围绕同一部电影，他们是否能够在海报上的做些个性化的文章，提高转化率。

图一是默认海报，图二提高了14%点击率，图三提高了6%。

NETLIX随后开发了一个系统级方案，可以自动将节目图片根据不同的宽高比，裁切效果，修饰程度，本土化元素等维度进行分组。他们把这套方案逐渐应用到越来越多的节目上，跟踪相应的用户点击转化率，以下是一些例子，绿色箭头是用户转化率较高的内容：

四、经验总结

1、为何要使用A/B testing

如果你给产品设计了一个新功能或新的运营手段，使用A/B测试可以帮你扭转两个关键指标：留存和收入。使用A/B测试彻底改变产品，跟踪用户行为，你可以看到你的产品如何一步步提升留存和收入的。如果测试有效，就尽快放进基线版本，做成标配。这种手段可以帮你持续优化产品和运营。

2、你的用户是否按照你的设定在操作。

我的经验是，用户在绝大多数时候都不会按照你的期望方式操作，有时候他们连你精心推敲、放得好好的按钮都找不到。各种原因很多：可能你的设计不够直观、颜色不够突出、不理解某种操作、可交互的选择太多无法决定从何下手等等。

3、你的直觉准确吗？

很遗憾，对于用户行为来说，多数时候我们的直觉都是错的，唯一能证明对错的方式就是A/B测试。在用户体验领域，这是最好的鉴别指针。以一个房产网站的经验举例，他们想提高Google广告的注册转化率。于是做了几版设计，他们认为只要隐藏房产图片的效果会更好，结果同时隐藏房产图片和价格的设计转化率反而更好。

4、一起探索边界

一个人的边界太有限，因为最好的注意不是憋出来的，是一起探索出来的。好的产品团队应该擅长通过各种不同的新项目，推动跨团队的协调和交流、经常把设计师、工程师、产品经理、运营聚在一起，围绕产品打开脑洞。很多好的产品点子就是在测试了原型产品后，通过这样的跨团队讨论迸发出来的。

5.关注用户做什么，而不是他们说什么

当你和用户直接对话的时候，请务必记住这个原则：用户总是说一套做一套。这周我亲自做过一次用户测试，可以完美证明这一点。我问用户，平时用通讯录时会不会使用筛选功能，用户表示并不用，因为靠滚动就可以搞定，没必要使用。但在用户看到这个新的筛选下拉菜单时，这个功能的便利性马上吸引了他，用户迅速学会了使用多种维度进行筛选，然后马上问我们：“这个功能什么时候能在产品里用到？”

6、用户数据的多少决定了额你的成功几率有多少

有数据，才能分析用户行为背后原因。数据能助你构筑方案，A/B测试可以告诉你那个方案更有效。

在产品地带和运营优化策略上，聪明的团队总会为同一个增长目标提供多几个解决方案，如何择其一还能保证最终效果是最优的，A/B测试无疑是最好的选择之一，用数据来辅助你选择正确的方案是明智的做法。