我正在运行一个AB实验来测试这个页面的两个版本,每个版本显示一组不同的产品。我在这个实验中测试的指标是用户选择的产品数量。我在AB测试上找到的所有资源都假设了一个“试验和转换”模型,其中有X个试验,从这些试验中,发生了Y个转换。在此模型中,Y <= X。在我的例子中,我在页面上选择了X=# impressions of the page和Y=# products,在某些情况下Y>X。在这种情况下,如何确定哪个版本的性能更好?
用于基准测试的ab命令中的选项在中描述,例如,命令在请求index.html (文件size=5937字节)时获得统计结果。ab -n 1000 -c 1000 http://localhost:8000/ and show the output as follows
我的问题是命令执行1000个并发进程,在同一启动时间从一个