ABTest之最常见的八个错误

原创

已于 2022-03-29 17:57:47 修改 · 4.4k 阅读

标签

#机器学习 #支持向量机 #算法

于 2021-07-07 16:46:48 首次发布

本文揭示了A/Btesting中的十大常见错误，包括误解P-value、忽视实验假设、滥用显著性、地域下钻误区、随意延长实验、流量分配不当、过度依赖A/A对比、无视延迟效应等。强调了合理实验设计和正确解读实验结果的重要性。

文章目录

A/B testing是一切以数据为驱动的公司的常用工具和一大迭代开发利器，在此我们总结出最常见的十个错误，希望大家以后能够避免。

1. P-value给出了得出该实验结果的概率

P-value应该是A/B testing中最容易被误解的概念，而且错误的解释千奇百怪，其中最常见的一个就是“P-value告诉我们得出该实验结果的概率，比如P-value=0.1，说明我们有90%的概率拿到该实验结果”。实际上P-value描述的是随机性，指的是在虚无假设（Null hypothesis）为真的情况下，得到该结果的概率，即在treatment和control没有区别的情况下（A/A实验）得到该数据的概率。所以P-value=0.1，意味着有10%的A/A实验就可以得到该实验结果。P-value越高，实验结果由随机性得到的概率就越大。当P-value低于我们设置的显著性闸值（alpha value，常用0.05）时，我们认为由随机性得到该实验结果的概率较低，该实验结果主要由于treatment和control间差异导致，因此我们说该实验结果显著。显著性闸值可以根据业务自己设定，对于稳定性要求较高的业务，可以选择更低的P-value（比如0.01）；对于希望更新迭代更快的业务，可以选择更高的闸值（比如0.1）。