企业官网建设流程全解析

—关注作者，送A/B实验实战工具包

做 AB 实验时，新手看“均值”，高手看“趋势”。

很多实验会出现这种诡异的现象：

• 剧本 A：上线第一天，点击率暴涨 20%，全团队开香槟。一周后，数据掉回原点，甚至比原来还差。
• 剧本 B：上线第一天，核心指标大跌，老板让你赶紧回滚。你顶住压力跑了一周，数据竟然慢慢爬升，最后变成了正向。

这两个剧本背后的操盘手，就是时间维度上的两大干扰因子：新奇效应 (Novelty Effect)与改变厌恶 (Change Aversion)。

如果不理解这两个概念，你的实验结论在“第 1 天”和“第 7 天”可能是截然相反的。

1. 新奇效应：虚假的繁荣

定义：
用户对改动产生互动，仅仅是因为它**“长得不一样”或“很新鲜”**，而不是因为改动本身带来了价值。

痛点：
它会导致第一类错误 (Type I Error)，即假阳性。
你以为你的新 UI 设计得很棒，其实用户只是因为“原本灰色的按钮变红了”，出于好奇点了一下。这种点击是不可持续的。

典型场景：

• UI 改版：更换图标、调整布局、修改按钮颜色。
• 红点/强提醒：首次出现时点击率极高，用户习惯后会产生“盲视”。

数据特征：

• 倒 V 型曲线：实验初期指标飙升，随后迅速回落，最终趋于平稳（往往回归到 0 或微正）。

2. 改变厌恶与学习效应：黎明前的黑暗

这里回答一个常见问题：学习效应是不是就是改变厌恶？
答案：不是，但它们通常相伴而生。

• 改变厌恶是因（心理/习惯上的抵触）。
• 学习效应是果（克服抵触、掌握新功能的过程）。

2.1 改变厌恶

定义：
老用户已经形成了肌肉记忆。当你改变布局时，增加了他们的认知负荷，导致效率下降或产生负面情绪。

例子：
你把“付款”按钮从右下角移到了左下角。

• 老用户：习惯性点击右下角→ \rightarrow→点错了→ \rightarrow→烦躁→ \rightarrow→寻找按钮→ \rightarrow→转化率下跌。
• 这种下跌不是因为左下角不好，而是因为“改变”本身打破了习惯。

2.2 学习效应

定义：
用户从“不习惯”到“习惯”，从“不会用”到“熟练使用”的时间过程。

数据特征：

• J 型曲线：实验初期指标下跌（厌恶期），随着时间推移，用户完成学习，数据触底反弹，最终稳定在真实水平。

3. 核心解法：新老用户分群

当实验曲线波动剧烈时，如何判断是“策略真的烂”还是“改变厌恶”？
最硬核的鉴别方法是：将用户拆分为“新用户”和“老用户”看数据。

逻辑推演

• 新用户 (New Users)：
  • 他们没见过旧版本，没有肌肉记忆，没有历史包袱。
  • 他们对“改变”不敏感，对“新奇”也不敏感。
  • 结论：新用户的表现，最接近策略的真实长期价值。
• 老用户 (Existing Users)：
  • 他们深受习惯影响。
  • 如果老用户跌了，但新用户涨了→ \rightarrow→这是改变厌恶。建议坚持跑下去，等老用户适应。
  • 如果老用户涨了，但新用户没感觉→ \rightarrow→这是新奇效应。建议谨慎推全，收益可能不可持续。

决策矩阵

4. 监控与矫正实战

4.1 监控手段：日级别趋势图

不要只看累计数据的 P 值。必须画出Day 1到Day N的指标变化趋势图。

• 如果曲线是平滑的，说明效应较弱。
• 如果曲线有明显的“大起大落”，必须介入分群分析。

4.2 矫正方法：长周期实验 (Long-running Experiment)

这是最笨但最有效的方法。

• 新奇效应通常在 1-2 周内消退。
• 学习效应通常需要 2-4 周（取决于功能复杂度）。
• 操作：如果怀疑有效应干扰，不要在 3 天内做决策，强行把实验跑满 2 个完整的自然周（覆盖两个周末）。

4.3 预热与引导

对于可能引发强烈“改变厌恶”的功能（如改版）：

• 不要突袭：提前发公告。
• 引导蒙层：上线当天的首次启动，用引导蒙层告诉用户“按钮搬到这里了”。这能显著缩短学习效应的耗时，减少数据震荡。

如果这篇文章帮你理清了思路，不妨点个关注，我会持续分享 AB 实验干货文章。