企业官网建设流程全解析

实验跑了两周，核心指标p值还在0.05附近来回震荡，业务方天天来问“到底有没有效果”，产品同学已经开始怀疑实验设计是不是有问题。这是做AB实验最磨人的阶段——不是没有结论，而是显著性迟迟“不显著”。很多团队卡在这一步之后，第一反应是“再加量”，把实验周期拉长一倍，或者把手头所有流量都灌进去。但实测下来，这种做法往往既慢又贵，而且根本问题没解决——你只是把不该有显著性的实验硬生生等到了显著性，或者本来有信号却被噪声淹没到看不见。

想科学地提升AB实验结果显著性，先得搞清楚显著性不足这件事的底层逻辑：是样本量真的不够，还是指标方差太大把真实效果盖住了，还是实验设计和分析方法的灵敏度太差。只要先定位清楚病根，后面就有非常具体、可执行的提升路径，完全不需要靠玄学。这篇是系列第一篇，我会围绕“显著性不足的原因拆解”和“如何在设计阶段就把实验做灵敏”展开，附带上可以直接拿去用的Python计算代码，把我这几年在多个业务场景里踩过的坑和验证过的做法都说清楚。

1. 先搞懂显著性不足背后的四个根本原因

聊提升方法之前，得先把“为什么大多数AB实验做不出显著性”想透。我在不同团队里见过各种各样的实验，最后总结下来，显著性上不去基本逃不出四种情况——每种对应的解法完全不一样，方向搞错就会南辕北辙。

1.1 统计功效不足：样本量配不上你想验证的效应量

统计功效（Power）这个概念，简单说就是“如果你要验证的效应真的存在，你的实验有多大把握能把它检测出来”。行业默认标准是80%，对应公式里Z值取0.84。功效不足直接导致的就是II类错误率过高——实验本身有效果，但统计上没检测出来。这在实操中最常见的表现就是：实验组和对照组的均值明明有差距，趋势也对，但方差太大、样本太少，置信区间宽到离谱，p值就是压不到0.05以下。

样本量计算的基本公式长这样：

[ n = \frac{(Z_{1-\alpha/2} + Z_{1-\beta})^2 \times (\sigma_1^2 + \sigma_2^2)}{(\mu_1 - \mu_2)^2} ]

其中(\alpha)通常取0.05对应双侧Z值1.96，(\beta)取0.2对应Z值0.84。这个公式可以直观看出：样本量和方差成正比，和效应量的平方成反比。也就是说，如果你想验证一个0.1%的转化率提升（比如从5.00%涨到5.05%），需要的样本量，是验证1%提升的100倍。很多业务方拍脑袋定的“实验跑两周”，根本配不上一个预期的微小效应量，显著性自然出不来。

我在实操里建议的做法是：上线前先做功效分析，把“最小可检测效应量（MDE）”和当前流量规模对齐。如果50%流量跑两周只能检测出1%以上的提升，而团队预期效果只有0.3%，这个实验设计从起点上就是错的——要么调整预期，要么换更灵敏的指标，要么找到方差更小的度量方式。

1.2 指标方差过大：真实信号被噪声淹没

这是最容易被忽略、但往往是最致命的一条。拿电商业务举例，人均GMV这个指标，用户从0到上万都有，标准差经常是均值的5到10倍。在这种高方差指标上做AB实验，就像在狂风暴雨里听一个人小声说话——不是没有声音，而是背景噪声太大。

这类指标通常服从长尾分布，少数“鲸鱼用户”（比如某天买了几万块的大客户）在统计上占据了极大权重，直接导致实验组和对照组的均值差异被这类极值用户主导。更麻烦的是，高方差指标对小样本量极为敏感，分桶如果不够均匀，哪怕随机分流了，两组在实验前的均值都能差出几个百分点，后验数据根本看不出真实效果。

方差这个因素在样本量公式里是线性关系，也就是说，如果你能把指标方差压缩掉30%，等效于样本量提升了30%，这比苦哈哈地加流量划算得多。这也是后面要重点讲的CUPED和相关协变量方法的价值所在——直接砍方差，而不是加样本。

1.3 效应量被稀释：目标用户占比太低

很多AB实验不显著，不是因为产品改动没效果，而是改动只对“一小部分人群”有效，但指标分母是“全量人群”。举一个我遇到的真实案例：一个面向忠诚度高的老用户做会员权益升级的实验，理论上对活跃老客户有明确正收益，但实验指标看的是全站人均时长——新用户、流失边缘用户对这种权益根本不敏感，他们的行为数据把真实效应稀释得非常微小。

这里有个关键概念叫“目标用户覆盖率”。实验的真实效应量= 目标用户占比 × 目标用户身上的效应量。如果目标用户只占总流量的20%，哪怕这个改动对这20%的用户产生了5%的提升，摊到全量指标上就只有1%。在样本量公式里，效应量的平方项让这种稀释雪上加霜——效应从5%降到1%，样本量需求直接拉高25倍。

这种情况需要做的不是盲目加量，而是换口径。比如分析时只看“实验组的真实触发用户”（即真正看到了改动、或满足目标人群条件的人），或者把核心指标从“全站人均XX”调整为“目标人群中的人均XX”，信噪比马上就不一样。后面会详细展开怎么在实验分析阶段合理做样本筛选，既不能破实验随机性，又能把效应量放大到可检测范围。

1.4 实验设计与分析方法本身不够敏感

最后这一类是纯方法论问题。很多实验用的是双尾检验、默认指标选得不够精细、没有做分层、没有利用实验前数据、没有考虑用户触发逻辑。这些都是在设计阶段就能优化的，但传统AB实验流程里经常被一笔带过。

比如大家习惯了盯着p值看，但其实置信区间的宽度才是更直观的判断依据。如果实验组和对照组的点估计相差1.2%，但95%置信区间是从-0.5%到2.9%，这个实验就是典型的“信号存在但检测精度不够”。与其等更长周期，不如想办法把置信区间缩窄——这才是提升显著性的核心方法论。把置信区间压窄的手段无非几个方向：增大样本量、降低方差、提高效应量、选择更灵敏的检验方法，每一条都有具体的实操动作。

2. 提升显著性的第一板斧：功效分析把账算在前面

很多实验做到一半才发现不显著，根子在于上线前就没算清楚“需要多少样本”“能检测出的最小效应是多少”。功效分析是让显著性从“碰运气”变成“确定性”的第一步，也是成本最低的投入——它只需要在实验上线前花十分钟跑几个公式。

2.1 样本量计算Python实操

我平时用的就是下面这段代码，几乎覆盖了所有AB实验场景下的样本量预估。它算出来的是每组所需样本量，总样本量直接乘以2就行。

import math from scipy import stats def sample_size(effect_size, std_dev, alpha=0.05, power=0.8, alternative='two-sided'): """ effect_size: 预期效应量（绝对值，如转化率提升0.005即0.5个百分点） std_dev: 指标标准差 alpha: 显著性水平 power: 统计功效 """ z_alpha = stats.norm.ppf(1 - alpha / 2) # 双侧检验对应1.96 z_beta = stats.norm.ppf(power) # 80%功效对应0.84 n = ((z_alpha + z_beta) ** 2) * (std_dev ** 2 * 2) / (effect_size ** 2) return math.ceil(n) # 示例：转化率类指标，对照组基线转化率5%，预期提升10%（即提升到5.5%） baseline = 0.05 lift = 0.10 expected_effect = baseline * lift # 0.005 # 转化率的方差近似为 p(1-p)，这里直接由基线转化率估算 std_dev = math.sqrt(baseline * (1 - baseline)) n_per_group = sample_size( effect_size=expected_effect, std_dev=std_dev ) print(f"每组所需样本量: {n_per_group}") # 约为 3056 print(f"总样本量: {n_per_group * 2}") # 约为 6112

这段代码的输出能直接指导实验流量分配和时间预估。假设你每天进组用户2万，算出来总样本量需要6万，那就需要3天。如果业务说只能跑5天——没问题；如果只能跑1天——那就得换方法，要么放宽期望效应量，要么做方差缩减。

实践中关键不是代码本身，而是三个输入参数怎么定。

**效应量从哪里来？**三个来源，按优先级排序：一是历史同类实验的观察值（最可靠），二是对改动机制的业务判断（次之），三是行业benchmark兜底。注意效应量用的是绝对值而非百分比——转化率从5%提升到5.5%时，效应量是0.005，不是5%。

**标准差用什么口径？**理想状况是用实验前一段时间（比如前两周）的日维度指标计算。如果指标本身就是比率型（转化率、点击率），可以用(p(1-p))近似，但注意这假定了用户行为是伯努利分布，实际中用户的转化概率本身就是异质的，所以真实方差往往比(p(1-p))更大。这种情况下建议直接用历史日粒度数据的标准差，更贴近真实。

2.2 反向用法：给定样本量反推可检测的最小效应

功效分析的另一种更实用的用法是反推——在现有流量下，我这个实验到底能检测出多大的提升？这个叫最小可检测效应（MDE，Minimum Detectable Effect），通常用来和业务方对齐预期，避免上线后才发现“跑死也跑不出显著性”。

def minimum_detectable_effect(n_per_group, std_dev, alpha=0.05, power=0.8): z_alpha = stats.norm.ppf(1 - alpha / 2) z_beta = stats.norm.ppf(power) mde = ((z_alpha + z_beta) * std_dev * math.sqrt(2)) / math.sqrt(n_per_group) return mde # 假设每组只有1000个用户，指标标准差还是0.217 mde = minimum_detectable_effect(1000, std_dev) print(f"可检测最小效应: {mde:.4f}，即{mde*100:.2f}个百分点")

跑出来的数字通常很扎心——比如“以每天1万用户跑3天，只能检测出2.2%以上的转化率提升”。这意味着低于2.2%的真实效果，即使存在，这个实验也基本检测不出来。如果你手上这个改动预期只有1%的提升，那就该提前和业务方讲清楚：要么加流量，要么换更敏感的指标，要么调整实验方案，而不是等实验跑完再去解释“为什么不显著”。

2.3 功效分析踩过的坑

第一次做功效分析时最容易犯的错：直接用指标均值代替标准差。比如人均GMV是300元，实际标准差可能是2000元，如果按300去算样本量，算出来的数字会小到可笑，实验跑完注定不显著。正确做法是直接用实验前数据的样本标准差。

另一个坑是忽略指标的长期自相关性。转化率、留存率这类指标在用户维度上是重复测量，同一个用户的多天数据高度相关，而AB实验的基本假设要求观测独立。如果实验周期横跨多天，而分析时把“用户-天”当成独立样本，样本量算出来是虚高的，实际功效远达不到预期。正确的分析单元应该是“用户”而不是“用户-天”，样本量计算也应按独立用户数来算。具体做法是把每个用户在整个实验期的行为聚合（比如是否转化、总消费金额），再对这个聚合后的指标做检验。

3. 提升显著性的第二板斧：用CUPED把方差砍掉一大截

上一节讲的是“在同样的方差水平下需要多少样本”，这一节讲更主动的思路——直接从源头降低方差。CUPED（Controlled-experiment Using Pre-Experiment Data）是我在实际业务里用过性价比最高的方差缩减方法，能把实验指标的方差压缩30%到50%，等效于样本量提升一倍甚至更多。这不是什么黑科技，原理极其简单。

3.1 CUPED的核心思想：拿“实验前的你”当对照组

CUPED的基本思路是找一个和实验指标强相关、但不受实验影响的协变量X（最典型的就是用户实验前一段时间的指标值），然后对实验指标Y做线性回归调整：

[ Y_{cv} = Y - \theta \times (X - \bar{X}) ]

这里的(\theta)就是Y对X的回归系数，(\theta = \frac{Cov(Y, X)}{Var(X)})。为什么这样做能缩减方差？因为Y里有很大一部分波动是“用户本身差异”造成的（比如用户A天生就是高活跃的，用户B天生就是沉默的），这部分波动在随机分组下两组都有，纯粹是噪声。而X恰好捕捉到了这一部分用户特征差异，把(X - \bar{X})乘以(\theta)再从Y里减掉，就相当于先把每个用户的“底子”对齐了，剩下的只有实验干预带来的变异。

用生活类比就很好懂：你想比较两种减肥方法的效果，直接比较期末体重，波动会很大——有人基数大掉得快，有人基数小掉得慢。但如果你拿每个人的期初体重当协变量做调整，只看“在同样起跑线上的净变化”，信号就清楚很多。CUPED做的就是这件事。

方差缩减的幅度直接取决于指标和协变量之间的相关系数平方(\rho^2)，缩减率约为(1 - \rho^2)。当相关系数到0.7时，方差直接减半。在实操中，实验前两周的同一指标作为协变量，和实验期指标的相关性通常在0.6到0.9之间（取决于业务周期性和用户行为稳定性），也就是说，大部分业务用CUPED能把方差缩减到原来的30%到50%，效果极其显著。

3.2 Python实现一份可直接跑的CUPED代码

下面是我在线上实验里验证过的完整实现，从读取实验数据到输出调整后的显著性判断一气呵成：

import numpy as np import pandas as pd from scipy import stats def cuped_adjust(df, metric, pre_covariates, treatment_col='group'): """ df: 用户粒度数据，一行为一个用户 metric: 实验期指标列名 pre_covariates: 实验前协变量列名列表 treatment_col: 分组列，取值为'treatment'/'control' """ treatment = df[df[treatment_col] == 'treatment'] control = df[df[treatment_col] == 'control'] # 分别计算两组的协变量均值 X_mean_t = treatment[pre_covariates].mean() X_mean_c = control[pre_covariates].mean() # 合并两组计算回归系数——推荐用合并数据算，更稳定 all_data = df.copy() thetas = {} for cov in pre_covariates: # 计算Y对X的回归系数theta theta = np.cov(all_data[metric], all_data[cov])[0, 1] / np.var(all_data[cov]) thetas[cov] = theta # 调整后的指标 def adjust(group_df, X_mean_group): adjusted = group_df[metric].copy() for cov, theta in thetas.items(): adjusted -= theta * (group_df[cov] - X_mean_group[cov]) return adjusted y_cv_t = adjust(treatment, X_mean_t) y_cv_c = adjust(control, X_mean_c) # 两样本t检验 t_stat, p_value = stats.ttest_ind(y_cv_t, y_cv_c) # 对比调整前后 t_stat_raw, p_value_raw = stats.ttest_ind(treatment[metric], control[metric]) return { 'raw_p': p_value_raw, 'cuped_p': p_value, 'raw_diff': treatment[metric].mean() - control[metric].mean(), 'cuped_diff': y_cv_t.mean() - y_cv_c.mean(), 'variance_reduction': 1 - (y_cv_t.var() + y_cv_c.var()) / (treatment[metric].var() + control[metric].var()) } # 使用示例 # df包含列：user_id, group, metric（如gmv）, pre_metric（实验前14天gmv） # result = cuped_adjust(df, metric='gmv', pre_covariates=['pre_metric'])

这段代码里有两个细节值得注意。

**第一，回归系数合并两组数据算，而不是分组算。**只拿实验组的数据算(\theta)会引入选择偏差，因为实验组的指标已经受到干预影响了；合并两组算则利用了随机分组下的无偏性，更稳定。

第二，协变量选择一个还是多个？一个强协变量通常就够用了，因为协变量之间本身有相关性，多个协变量的边际增益递减很快。我的经验是首选“实验前同一时间段长度相同的同一指标”，比如实验期评估两周GMV，就用实验前两周的GMV做协变量；如果没有，退而求其次用实验前累计指标；再不行就选和主指标相关性最高的行为指标（比如做付费实验可以用前期的活跃度或观看时长）。

3.3 用CUPED到底能提升多少显著性，用数据说话

我在一个内容平台做创作者激励实验时遇到过这个情况：实验目标是提升创作者周发文数，对照组均值为2.35篇，实验组2.48篇，提升约5.5%。但直接做t检验，p值0.087，不显著。加了“创作者实验前30天发文数”作为协变量做CUPED后，p值直接降到0.031，跨过0.05线。方差缩减率达到了36%，等效于样本量提升了约54%。这个改动前后分析口径完全一致，只是把用户历史行为的底噪去掉，真实信号就露出来了。

这类结果我不是第一次见到。在超过一半的高方差指标实验里，CUPED能帮助跨过显著性门槛。核心原因在于：高活跃用户的波动天然巨大，而这些波动大部分和实验前状态强相关——你前期活跃，实验期多半也活跃；你前期沉默，实验期多半也沉默。这部分“个性化底子”占指标总方差的比重非常高，CUPED一调整，方差立马降下来。

3.4 CUPED不能用的场景，别硬上

CUPED不是万能的，有两个场景我会直接放弃使用。

第一，协变量受实验干预影响时不能用。比如实验改的是登录页，协变量用“实验期间的注册率”就不行——它直接受实验影响，用它调整相当于把实验效果调没了。好在这类情况好规避：坚持用“实验前”的数据。

第二，指标本身是比率型时慎用。转化率、点击率这类指标天然受分母约束，直接用CUPED做线性调整可能产生超出[0,1]区间的调整值，尤其在边界情况（比如某个用户的协变量是0转化）。解法之一是用Logit变换把比率映射到实数域再做调整，变换形式是(logit(p) = log(p/(1-p)))；另一种更推荐的做法是干脆把指标从“转化率”改成“是否转化”的二值指标，配合Logistic回归去调整。实操里我倾向于后者，解释成本更低。

4. 提升显著性的第三板斧：指标口径调整与分层策略

CUPED解决的是方差问题，另一条路是解决“效应量被稀释”的问题。如果改动只影响部分用户，而核心指标看全量用户，那显著性不足几乎是必然的。这时候可以通过三个层面的调整来提升信噪比。

4.1 只看“实际触发用户”：ITT和ATT口径的本质区别

AB实验里有个经典区分：**ITT（Intention-To-Treat，意向处理）**评估的是“把用户分配进实验组带来的全量影响”，**ATT（Average Treatment Effect on Treated，受处理者平均效应）**评估的是“实际受到实验影响的用户的效应”。如果随机分流之后，只有30%的用户真的看到了改动（比如实验只在前端某个入口生效、或需要用户满足特定条件才会触发），那全量指标里70%的用户是“纯净的对照组行为”，他们的数据把效果彻底稀释了。

举个例子：你做的是“首充用户专享礼包”实验，实验指标是全站次周留存率。全站用户里真正符合“首充用户”条件的只有25%，而这25%里次周留存提升了8%，摊到全量指标上变成2%——可能就不显著了。这时候正确的口径是：把分析人群缩到“实验期间实际触发过该礼包的用户”（实验组里那25%），并在对照组里筛出等价的“有资格触发但在对照组”的用户来对比。这个做法的前提是“资格条件在实验前可判定”，比如按“是否为首充用户”来圈人，它不受实验影响，就不会破坏随机性。

我见过的反面案例是：实验上线后发现不显著，分析师把实验组里“触发用户”和后端的“自然用户”比，看起来有显著差异——但这本质上是选择偏差在起作用，因为能触发实验的用户本身就是活跃度更高的那批人，和对照组不具可比性。正确的做法一定要以“实验前特征”圈定分析人群，而不是以“实验中是否触发”来圈。

4.2 分层抽样：把用户按价值分组后再看效果

另一种提高灵敏度的方式是分层分析。把用户按实验前指标值分若干层（比如按历史消费金额分为高、中、低三层），各层分别做显著性检验，或使用分层后的汇总检验。这个做法能带来两个好处：一是每层内方差比全量方差小，二是可以发现“整体不显著但某个高价值分层显著”的真实异质性效应。

分层和CUPED在底层是相通的，都是在利用协变量解释指标方差。区别在于CUPED用连续协变量做回归调整，分层直接用协变量分箱后按层检验。分层实现更简单，也更容易向业务解释“哪个客群有效果”；CUPED的效率更高，但解释成本也高一些。我的习惯是CUPED作为主分析手段，分层作为辅助洞察手段。

分层检验时有个统计细节容易被忽略：各层分别算p值，然后看“至少一个层显著”来下结论，这在统计上是错的——多重比较会膨胀整体假阳性概率。正确的做法是先做整体检验，如果整体显著再分层层层看；或者做结构化的分层检验（比如按各层样本量加权合并检验），而不是把各层的p值单独拿出来讲故事。

4.3 更敏感的指标构造：从“有或没有”到“有多少、多强烈”

指标的灵敏度本身也有调整空间。同样是衡量用户活跃，二元指标“是否活跃”比连续指标“活跃天数”的信息量少得多。连续指标保留了更多差异性，在同样的样本量下更容易检出显著差异。这里有个常见的取舍：均值类连续指标对极端值敏感，方差大，但CUPED的调整空间也大；二值类指标方差小，但效应量损失大。

实践中我推荐优先看主指标的“深度版本”。比如主指标是“次日留存率”（二元），那可以同步看“次日使用时长”（连续）；主指标是“购买转化率”，可以同步看“客单价”或“人均GMV”。连续指标更容易做出显著性，但要把它的结果作为辅助洞察而非核心结论——因为连续指标尽管更灵敏，其业务含义相对抽象，最终决策仍应围绕业务主指标展开。

另外还有个“离散化”方向的优化：如果一个指标的正态性极差、极端值太多，可以把“绝对值指标”改成“对数指标”或“分位指标”。比如人均消费金额波动极大，用(log(GMV+1))作为检验指标通常能大幅压缩方差的右尾部分，让检验更稳定。但这里要注意，变换后的估计值要想还原成业务语言，需要用“对数变换后再做差的检验”来辅助判断方向，而不是直接解释对数均值差。

5. 实验设计与分流配置的科学调整

前几节都在讲数据分析端的方法，这一节讲实验设计端。需要明确的是，一个显著性是设计出来的，不是事后分析出来的。设计阶段的微小调整，可能带来比任何后期分析技巧都大的显著性提升。

5.1 流量分配比例并非越高越好

大比例分配流量不一定会让显著性更快出现，因为样本方差在实验设计中还受“分组均衡度”影响。AB实验分组最佳比例不是常规认知中的50/50，当实验组方差和对照组方差存在差异时（例如实验影响了指标的离散度），最优分流比例会偏离50/50。

实用建议：如果拿不准，用50/50没错；但当你只需要检测实验组效果，而且实验组指标的方差预期会变大（例如新功能让部分用户消费暴增）时，可以考虑给对照组更多流量。不过更多时候问题出在“流量总盘不足”而不是“分流比例不对”，这时优先考虑把实验从“全量用户”缩小到“目标人群”再分流，能显著提升功效。

5.2 实验时长的隐性代价：被忽略的时序效应

很多团队习惯性把“实验跑两周”当成默认配置，但没有意识到一个陷阱：实验期内新进入的用户，其行为还没完全展开，观察到的增量会被“启动期”拉低。比如付费实验，新用户前几天的付费率天然低于老用户——头部效应和数据右删失会让效应量被低估。理想的实验周期应该是“让每个进入实验的用户都有完整的体验窗口”，而不是简单卡一个固定日历日期。

同时，长周期实验还有个隐性后果叫用户新鲜感衰减。一个新功能上线时千好万好，一周后用户习惯化，增量回落。实验跑太久反而把“真实但短暂”的效应拉没了。这告诉我们：实验周期长度不是越长约好，需要和产品的效应发生周期匹配。短周期实验的另一个额外好处是能更快迭代，避免业务在等待中失去耐心。

5.3 双尾换单尾能提升显著性吗？可以，但有代价

同样的数据，双尾t检验的p值如果是0.06，换成单尾检验后p值可能变成0.03，恰好跨线。这个做法在统计上本身是允许的——“我本来只关心提升，不关心下降”是有业务依据的。但前提是必须在实验开始前就定好方向，不能跑完看到双尾不显著，再回头改成单尾碰运气。后者属于p-hacking，是对实验结论可信度的透支。

我的建议是：**除非有非常强的先验方向（比如改动是从B版改成C版，几乎不可能更差），否则默认用双尾。**双尾在业务上是保守且安全的，虽然它让显著性门槛提高了那么一点，但对大多数团队来说不差这点功效，换取的是结论的稳健性。

5.4 触发条件与覆盖率的取舍：减少无效样本

实验分流是按“进入实验页面的人”来分，但实验效果只对“真正被改动影响的人”有意义。假设实验要改的是结账页的优惠券展示，分流的时候是按“打开APP的用户”来分的——那大量没有走到结账页的用户会稀释效果。这时候正确的做法是：把分流点后移到“用户到达结账页”那一刻，在这个触点上进行随机分配。这叫“触发式分流”。

触发式分流的统计学意义在于：它直接把“无效样本”从实验种群中排除掉了，单位样本的信息量更大，同等流量下功效更高。不过触发式分流有一个要注意的坑：被排除的用户是否与实验效应独立？如果改动会让某些用户“更容易走到结账页”，那么“是否触达结账页”本身就受到了实验影响，这时候基于触发人群的分析会带来选择偏差。解决思路是采用“实验前是否具备触发条件”作为样本圈定标准，而不是“实验期间是否触发”。

6. 常见问题与避坑实录：那些看似聪明实则有害的操作

讲完了科学的提升方法，必须要说说我见过的高风险操作。这些做法短期内有可能把p值压到0.05以下，但长期看都是在消耗实验基础设施的信誉，实际业务决策中会造成严重的误判。

6.1 最常见也最危险的：跑完看结果再决定要不要继续攒样本

很多团队的实验流程是：实验跑了一周不显著，再延长一周；两周还不显著，再拉长到一个月。这等于“在结果出来之后反复调整停止规则”，在统计上等同于不断偷看结果再决定是否继续抽样，最终导致假阳性概率远高于名义上的0.05。

正确的做法是：实验上线前，根据功效分析确定好最小样本量或实验时长；到了时间点，无论结果如何，都按预定计划做决策。如果提前看结果，只能在“已预定好的期中分析点”看，并通过合适的边界值来校正。最简单有效的合规做法是：上线前把样本量和时长定死，中途不看不采。

6.2 p-hacking的多种变体，各个都得避开

p-hacking不只有改成单尾这一种。还有：同一实验看十个指标哪个显著就说哪个；同一指标试了三种分析口径（全量、触发用户、高频用户）挑了显著的版本汇报；同一数据做了CUPED和分层，谁显著用谁。这些操作的本质都一样——在“结果空间”里做多次尝试，没有对多重比较做校正，或者没有“预先注册分析计划”。

更有隐蔽性的p-hacking是反复调协变量。CUPED本身合规，但如果我换十个协变量，最后挑了那个能让p值降到0.04的——这就把CUPED从方差缩减工具变成了造假工具。避免方法其实特别简单：分析计划事先写清楚，协变量用哪个、数据口径是什么、检验方式是什么，上线前就定好，而不是跑完再拍脑袋。

6.3 辛普森悖论提醒：整体显著，分层全不显著时怎么办

还有一种情况也值得警惕：整体p值显著，但拆到各层全部不显著。这通常不是坏事，反而说明整体效应虽然存在但分布不均匀——或者更常见的是整体合并在统计上借用了各层间的“系统性差异”。这里提醒的是相反的坑：如果实验同时改了多个环节（比如既改了列表页排序又改了详情页布局），你只知道“整体有效”，但说不清是哪一步起作用。这种“复合处理”会让实验结果的可复制性和可归因性大打折扣，后续做调整也无从下手。

我的建议是：多变量同时改动时，至少把变量拆开做因子设计，或者给不同实验组分别暴露不同版本，保证能拆解出各组件贡献。否则这个显著性即使达到了，业务的迭代价值也会被打折。

6.4 显著性不是万能的：效应量、置信区间和业务价值一起看

最后给一个视角上的提醒。p值本身只能告诉你“和0的差异是否可信”，但一个p值0.04、提升0.02%的实验，和一个p值0.09、提升8%的实验，后者在业务上可能更有价值，只是当前功效不够。看显著性之前先看置信区间：如果置信区间是[-0.1%, 3.2%]，那就是“有上升趋势但精度不够”；如果置信区间是[-1.8%, 1.9%]，那基本说明“改不改没太大区别”——后者的p值就算再好看，也不是一个值得上线的改动。

以下是我整理的AB实验显著性相关常见问题速查表：

我在用一个又一个实验趟过这些坑之后，最大的体会是：**科学地提升显著性的核心不是“想办法让p值变小”，而是“让实验能更准确、更敏感地检测出真实存在的效应”。**这两者在字面上很像，但在实操取向上天壤之别。前者容易滑向各种投机取巧，后者则引导你踏踏实实做好功效分析、方差缩减、指标口径、实验设计这些基本面。

7. 实操总结与系列预告

这一篇展开的核心脉络可以用一句话概括：实验不显著，先别加样本量——先想清楚是功效不够、方差太大、效应被稀释还是设计不敏感，然后对症下药。第一板斧是上线前把功效分析做扎实，把“需要多少样本、能检测多大效应”算清楚；第二板斧是分析时用CUPED把方差砍掉30%到50%，等效白捡一大截样本量；第三板斧是调整指标口径和实验设计，让有效信号不再被噪声和无关人群稀释。

CUPED是用Python几行就能跑通的方案，也是我推荐团队优先落地的工具——投入产出比最高，对现有实验流程的侵入最小，几乎适用于所有用户粒度指标的实验。分层和指标变换则适合在特定业务场景下组合使用。

下一篇我会重点展开什么时候不显著就是“真的没有效果”，如何用贝叶斯视角看待AB实验结论，以及当你不得不面对“实验就是不显著但业务就是要上线”时，怎么用数据做有边界的决策。顺带提一句，我上面给到的代码可以直接复制到Jupyter里跑，数据格式是用户粒度一行为一个用户，如果有需要实际数据格式示例的地方，评论里可以聊，我看到会逐一回复。