更敏感的AB实验, CUPED!

【自取】最近整理的,有需要可以领取学习:

背景

AB实验可谓是互联网公司进行产品迭代增加用户粘性的大杀器。但人们对AB实验的应用往往只停留在开实验算P值,然后let it go。。。let it go 。。。

让我们把AB实验的结果简单的拆解成两个方面:

[P(实验结果显著) = P(统计检验显著|实验有效)× P(实验有效) ]

如果你的产品改进方案本来就没啥效果当然怎么开实验都没用,但如果方案有效,请不要让 statistical Hack 浪费一个优秀的idea

如果预期实验效果比较小,有哪些基础操作来增加实验显著性呢?

通常情况下为了增加一个AB实验的显著性,有两种常见做法:增加流量或者增长实验时间。但对一些可能对用户体验产生负面影响或者成本较高的实验来说,上述两种方法都略显粗糙。

对于成熟的产品来说大多数的改动带来的提升可能都是微小的!

在数据为王的今天,我们难道不应该采用更精细化的方法来解决问题么?无论是延长实验时间还是增加流量一方面都是为了增加样本量,因为样本越多,方差越小,p值越显著,越容易检测出一些微小的改进。

因此如果能合理的通过统计方法降低方差,就可能更快,更小成本的检测到微小的效果提升

更敏感的AB实验, CUPED!

CUPED(Controlled-experiment Using Pre-Experiment Data)应运而生。 下面我会简单总结一下论文的核心方法,还有几个Bing, Netflix 以及Booking的应用案例。

论文

Deng A, Xu Y, Kohavi R, Walker T. Improving the Sensitivity of Online Controlled Experiments by Utilizing Pre-experiment Data. Proceedings of the Sixth ACM International Conference on Web Search and Data Mining. New York, NY, USA: ACM; 2013. pp. 123–132. Paper链接

核心方法总结

论文的核心在于通过实验前数据对实验核心指标进行 修正,在保证 无偏的情况下,得到 方差更低, 更敏感的新指标,再对新指标进行统计检验(p值)。

这种方法的合理性在于,实验前核心指标的方差是 已知的,且和实验本身 无关的,因此合理的移除指标本身的方差不会影响估计效果。

作者给出了stratification和Covariate两种方式来修正指标,同时给出了在实际应用中可能碰到的一些问题以及解决方法.

stratifiaction

这种方式针对离散变量,一句话概括就是分组算指标。如果已知实验核心指标的方差很大,那么可以把样本分成K组,然后分组估计指标。这样分组估计的指标只保留了组内方差,从而剔除了组间方差。

[\begin{align} k &= {1,2,…,K} \ \hat{Y}{strat} &= \sum{k=1}^{K} w_k * (\frac{1}{n_k}*\sum_{x_i \in k} Y_i )\ Var(\hat{Y}) &= Var_{\text{within_strat}} + Var_{\text{between_strat}}\ &=\sum_{k=1}^K\frac{w_k}{n} \sigma_k^2 + \sum_{k=1}^K\frac{w_k}{n} (\mu_k – \mu)^2\ &>=\sum_{k=1}^K\frac{w_k}{n} \sigma_k^2 = Var(\hat{Y}_{strat}) \end{align} ]

Covariate

Covariate适用于连续变量。需要寻找和实验核心指标(Y)存在高相关性的另一连续特征(X),然后用该特征调整实验后的核心指标。X和Y相关性越高方差下降幅度越大。因此往往可以直接选择实验前的核心指标作为特征。 只要保证特征未受到实验影响,在随机AB分组的条件下用该指标调整后的核心指标依旧是无偏的。

[\begin{align} Y_i^{cov} &= Y_i – \theta(X_i – E(x))\ \hat{Y}{cov} &= \hat{Y} – \theta(\bar{x} – E(x))\ \theta &= cov(X,Y)/cov(X)\ Var(\hat{Y}{cov}) & = Var(\hat{Y}) * (1-\theta^2) \end{align} ]

stratification和Covariate其实是相同的原理,从两个角度来看:

  • 从回归预测的角度,实验核心指标是Y,降低Y的方差就是寻找和Y相关的自变量X来解释Y中信息的过程(提升(R^2)),X可以是连续也可以是离散的
  • 从投资组合的角度,Y是组合中的一项资产,想要降低交易Y的风险(方差),就要做空和Y相关的X资产来对冲风险,相关性越高对冲效果越好

下图摘自Booking的案例,他们的核心指标是每周的房间预定量,Covariate是实验前的每周房间预定量,博客链接在案例分享里。

更敏感的AB实验, CUPED!

实战攻略

covariate的选择

这里的选择包括两个方面,特征的选择和计算特征的pre-experiment时间长度的选择

  • Covariate通常会选择相同指标在per-experiment的估计,目标自然是为了让X和Y的相关性越高越好,毕竟方差缩减的幅度是correlation的函数
  • 估计covariate选择的时间段相对越长效果越好,时间越长covariate覆盖的用户群体越大,且受到短期波动的影响越小估计更稳定。当然也不能无限延长,超过一定时间后,covariate和指标的相关性会下降

没有pre-experiment数据怎么办

这个现象在互联网中很常见,新用户或者很久不活跃的用户都会面临没有近期行为特征的问题。作者认为可以结合stratification方法对有/无covariate的用户进一步打上标签。或者其实不仅局限于pre-experiment特征,只要保证特征不受到实验影响post-experiment特征也是可以的。

而在Booking的案例中,作者选择对这部分样本不作处理,因为通常缺失值是用样本均值来填充,在上述式子中就等于是不做处理。

CUPED要小心使用的场景

对于会影响用户结构的实验,并不推荐使用CUPED。例如会拉活低活用户/低活用户,影响用户启动的实验,不适用CUPED,因为用户结构改变后,他们的pre-experiment指标不再是无偏的。因为上述Covariate使用的核心是(E(X^{treatment}) = E(X^{control})),一旦用户结构发生变化这个假设自然不再成立。当然对于这类实验本身对指标的分析也是和其他实验不同的

CUPED调整指标和实际指标正负相反

实际应用中不可避免会出现调整前后指标一个正一个反的情况,大多是因为实验分流的不均匀导致的。哈哈不过只要都不显著,并不需要特别关注。当然更简单的解决方案也可以对部分低敏感指标只保留CUPED,对本身高敏感的指标不做CUPED调整

Attention

Covariate选择的核心是(E(X^{treatment}) = E(X^{control})),这一点不论你选择什么特征, 是pre-experiment还是post-experiment都要保证。

当然也有用CUPED来矫正实验组对照组差异的,但这个内容不在这里讨论。

应用案例

Bing 加载时间对用户点击率的影响

论文中作者在实际AB实验中检验了CUPED的效果。Bing实验检测检测加载时间对用户点击率的影响。 一个原本运行两周只有个别天显著的实验在用CUPED调整后在第一天就显著,当把CUPED估计用的样本减少一半后显著性依旧超过直接使用T-test.

更敏感的AB实验, CUPED!

Netflix 多种方法的实际效果对比

Huizhi Xie,Juliette Aurisset.Improving the Sensitivity of Online Controlled Experiments: Case Studies at Netflix

Netflix尝试了一种新的stratification, 上述论文中的stratification被称作post-stratification因为它只在估计实验效果时用到分组,这时用pre-experiment估计的分组概率会和随机AB分组得到的实验中的分组概率存在一定差异,所以Netflix尝试在实验前就进行分层分组。通过多个实验结果,Netflix得到以下结论:

  • 大样本下,post-strat在实际中更灵活和pre-strat表现相当
  • 能否成功找到和实验核心指标相关的covariate是成功的关键

Booking.com 新日历交互对用户影响

How Booking.com increases the power of online experiments with CUPED

实验效果对比如下,CUPED用更少的样本更短的时间得到了显著的结果。了解细节请戳上面的博客,作者讲的非常通俗易懂。

更敏感的AB实验, CUPED!

想更多了解AB实验高端系列的朋友,戳这里呦👇

AB实验的高端玩法系列1 – AB实验人群定向/个体效果差异/HTE 论文github收藏
AB实验的高端玩法系列3 – AB组不随机?观测试验?Propensity Score

想看更多因果推理AB实验相关paper的小伙伴看过来Paper_CausalInference_abtest

Ref

  1. A/B Testing for the Next Decade. CHALLENGES, COMPETITIONS AND OPPORTUNITIES. ALEX DENG @ MICROSOFT 2015

Original: https://www.cnblogs.com/gogoSandy/p/11749262.html
Author: 风雨中的小七
Title: 更敏感的AB实验, CUPED!

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/15928/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

发表回复

登录后才能评论
免费咨询
免费咨询
扫码关注
扫码关注
联系站长

站长Johngo!

大数据和算法重度研究者!

持续产出大数据、算法、LeetCode干货,以及业界好资源!

2022012703491714

微信来撩,免费咨询:xiaozhu_tec

分享本页
返回顶部