Ensuring Trustworthy Online A/B Testing: Addressing Five Key Questions on CUPED
CUPED(用实验前数据做方差缩减)在保持平均处理效应 ATE 无偏的同时大幅提升实验灵敏度,被各大科技公司广泛用于功能上线、定价与体验优化的 A/B 决策。论文系统回答了五个长期被忽视的方法论问题:对比多种 post-CUPED 估计量以确定最优调整设定、评估回归调整在何种条件下仍然有效,以及相关偏差与有效性的边界。
INSIGHT对搜索/推荐团队的实验平台直接有用:CUPED 的估计量选择与协变量设定会实质影响实验功效,用错会放大方差或引入偏差。论文给出"该用哪种 post-CUPED 估计量、回归调整何时失效"的具体判据,可降低排序/个性化改动在 A/B 评估中的误判风险。