来源:
https://zhuanlan.zhihu.com/p/375902281
https://zhuanlan.zhihu.com/p/394172096
第一个需要我们确定的是baseline conversion rate,这个baseline conversion rate指的是我们在开始实验之前,对照组本身真实的表现情况,如果说我们在这个实验当中想要去观测的是点击率变化,那么baseline conversion rate就是原来的点击率是多少,对应的就是前面提到的PA。
第二个需要我们确定的是minimum detectable effect,这个指的就是你的改动预期带来的提升,举之前的例子,我们希望通过优化,点击率从20%提升到25%,那么这个绝对(absolute)提升是5%(25%-20%),如果选择相对(relative)提升,就是30%(26%-20%)/20%=30%,这个对应的就是前面提到的δ。
除了这两个参数之外,还有就是significance level,也就是我们所说的显著性水平,这个就对应前面的第一类错误的概率,也就是α,一般为5%。还有statistical power,也就是我们前面所说的统计功效,statistical power一般用1-β来表示,这里的话也就是80%,和之前保持一致。