实际工作中如何使用对比分析方法呢?
民宿平台爱彼迎(Airbnb),他们在2013年对搜索结果页面进行改版设计,做了哪些变化呢?
搜索结果页面从原来的小图显示变成了大图显示,并且突出了房源位置。公司投入了大量资源来做这次改版,大家都预期新版会提高转化率。
但是,A/B测试的结果却出乎意料,新版本转化率不但没提升,反而降了0.27%。也就是说,公司投入了大量资源做的事情,没有效果。
具体是什么原因导致的呢?
测试人员猜测,新版本可能是在某些场景下提高了转化率,而在某些场景当中降低了转化率,以至于最终结果相互抵消。
那么问题就来了,是哪种细分情况导致的呢?
于是,A/B测试人员从用户维度来拆解(多维度拆解分析方法)。但是不管是把用户从活跃维度拆解成活跃用户、非活跃用户,还是把用户从新老用户维度拆解成新用户、老用户都没找到原因。
最后,从浏览器维度来拆解,才发现问题出在浏览器上。
在火狐浏览器和谷歌浏览器上,新版本都明显提高了转化率。但是在IE浏览器上,新版本却明显降低了转化率。这是因为,新版的和IE浏览器不兼容。
找到原因以后,公司人员在修复问题之后,新版本在IE浏览器上的转化率也提升了。