AB实验基础知识

来源:
https://zhuanlan.zhihu.com/p/375902281

https://zhuanlan.zhihu.com/p/394172096

Evans AB Tools

第一个需要我们确定的是baseline conversion rate,这个baseline conversion rate指的是我们在开始实验之前,对照组本身真实的表现情况,如果说我们在这个实验当中想要去观测的是点击率变化,那么baseline conversion rate就是原来的点击率是多少,对应的就是前面提到的PA。

第二个需要我们确定的是minimum detectable effect,这个指的就是你的改动预期带来的提升,举之前的例子,我们希望通过优化,点击率从20%提升到25%,那么这个绝对(absolute)提升是5%(25%-20%),如果选择相对(relative)提升,就是30%(26%-20%)/20%=30%,这个对应的就是前面提到的δ。

除了这两个参数之外,还有就是significance level,也就是我们所说的显著性水平,这个就对应前面的第一类错误的概率,也就是α,一般为5%。还有statistical power,也就是我们前面所说的统计功效,statistical power一般用1-β来表示,这里的话也就是80%,和之前保持一致。


 上一篇
进取型人格誓言 进取型人格誓言
不知道在哪来看到的一些话,现在记录下来。 作为一个持续学习者,应该有一套自己学习的理念,我认为以下就是这些年来自己在不断学习的过程中体现出来的,只不过有些执行的好,有些执行的差。重新回顾自己学习的内容和职业路径,学习确实带给自己极大的进度
2021-08-28
下一篇 
【现代科学心理学创始人】——冯特 【现代科学心理学创始人】——冯特
一般说到创始人,我们都会觉得此人非同一般,冯特作为现代科学心理学创始人确实名副其实。冯特从小学习刻苦,勤奋工作;一生著作颇丰,冯特著作如果按照每天60页的阅读,大约需要2年半才能读完(华生),写作量可谓惊人;冯特特别注重的实验法,而非内省,
2021-07-13
// // //
  目录