AB 实验之方差缩减技术
1. 前序知识
话说实施 AB 实验有一个非常关键的点就是可靠的统计分析,当然这个分析会涉及非常多的统计学知识,比如:
统计结果的理解是否正确:置信度、区间估计、显著性、Power 值、MDE、样本量……
实验分析的过程是否正确:AA 实验、反转实验、DID、幸存者偏差、辛普森悖论、CUPED、局部到全局……
这些概念构成了 AB 实验分析的基础框架,比如置信度和显著性帮助我们判断实验结果的可信度,而 Power 值和样本量则确保实验有足够的灵敏度检测到真实的效应。
有一个名词估计大家有点眼生,那就是 CUPED,这个方法的全称是 Controlled-experiment Using Pre-Experiment Data,中文翻译为:使用预实验数据进行控制的实验。CUPED 的核心目标是提升 AB 实验的统计显著性。其关键在于利用预实验数据调整指标,通过缩减方差来增强检测效果。