企业官网建设流程全解析

1. 项目概述：统计推断中那两个总被混淆的“错觉”

你有没有在读论文、做A/B测试，或者听数据分析师汇报时，听到过“p值小于0.05，结果显著”就立刻拍板决策？有没有在质量控制现场，因为一批零件的抽检结果“不显著”，就放行整条产线，结果三天后客户投诉不断？又或者，在医学筛查中，看到“阴性”报告就彻底松一口气，却没想过它可能漏掉了真正的病人？这些看似理性的判断背后，藏着统计学里最基础、也最容易被轻视的两道门槛——Type-I Error（第一类错误）和Type-II Error（第二类错误）。它们不是抽象的数学概念，而是每天在实验室、工厂、医院、互联网后台真实发生的“错判成本”。我带过十几支数据分析团队，做过上百次假设检验实操，最常被问的问题不是“怎么算t值”，而是“这个结论到底靠不靠谱？我敢不敢拿它去跟老板要预算？”——答案，就藏在这两类错误的权衡里。这篇文章不讲教科书定义，只讲我在真实项目里怎么识别它们、怎么量化它们、怎么用它们做决策。它适合刚学完《统计学导论》但还在迷糊的新人，也适合已经天天跑回归模型却从没认真看过“power=0.8”意味着什么的资深从业者。核心就一点：理解Type-I和Type-II错误，不是为了通过考试，而是为了在信息不完美的世界里，把“犯错”的代价，变成可计算、可谈判、可优化的业务语言。

2. 核心逻辑拆解：为什么必须同时盯住两个错误，而不是只看p值？

2.1 错误的本质：不是“算错了”，而是“判错了”

很多人第一次接触这两类错误时，下意识觉得这是“统计方法出问题了”，比如“是不是模型选错了？”、“是不是数据有噪声？”。这种理解方向完全错了。Type-I和Type-II错误，是假设检验这个决策框架本身固有的、无法消除的“判别风险”，它和你的计算是否精确、代码是否无bug毫无关系。想象你是一名急诊室医生，面对一个胸痛患者。你的“零假设H₀”是“患者没有心梗”，“备择假设H₁”是“患者有心梗”。现在你拿到一份心电图和肌钙蛋白检测报告，你要做一个二元决策：收治入院（拒绝H₀），还是让患者回家观察（不拒绝H₀）。无论你多资深、设备多先进，这个决策永远存在两种失败可能：

• Type-I错误（α错误）：患者其实没心梗（H₀为真），但你误判为有心梗，把他紧急收治。后果是：占用一张ICU床位、启动不必要的抗凝治疗、给患者带来巨大心理压力和经济负担。这就是“假阳性”（False Positive）。

• Type-II错误（β错误）：患者其实有心梗（H₁为真），但你误判为没心梗，让他回家休息。后果是：错过黄金抢救时间，可能导致猝死。这就是“假阴性”（False Negative）。

你看，错误的根源，不在于心电图机器坏了，而在于任何诊断工具都有其分辨能力的物理极限。统计检验也一样。t检验、卡方检验、z检验……它们都是我们手里的“诊断工具”，而α和β，就是这把工具出厂时自带的、刻在说明书上的“误判率标尺”。你不能要求一把手术刀既保证100%切掉肿瘤，又保证100%不伤及周围健康组织；同理，你也不能要求一个统计检验既保证100%不放过真实效应（低β），又保证100%不冤枉随机波动（低α）。它们是一对天然的“跷跷板”。

2.2 为什么只盯着p值是危险的？——一个被严重低估的盲区

在工业界，尤其是互联网A/B测试领域，“p < 0.05”几乎成了“成功”的代名词。运营同学看到这个结果，立刻写结案报告：“新按钮点击率提升显著，全量上线！”——但没人问一句：如果这个提升是真实的，我们有多大把握能检测出来？也就是，这个检验的统计功效（Statistical Power = 1 - β）是多少？我亲眼见过一个案例：某电商App测试“购物车页增加‘猜你喜欢’模块”，跑了整整30天，样本量超200万，p值=0.049，看起来“险胜”。但团队没做功效分析，上线后发现实际转化率提升微乎其微，远低于预期。复盘才发现，他们设定的最小可检测效应（Minimum Detectable Effect, MDE）是5%，但实际业务期望的是2%。在2%的真实提升下，这个检验的Power只有0.35——意味着每做3次这样的实验，就有2次会“漏掉”这个真实存在的、有价值的改进！这不是统计失败，这是决策失败。p值只告诉你“如果H₀为真，看到当前数据有多不可能”，它完全不告诉你“如果H₁为真，你有多大可能看到这个数据”。只看p值，就像只看枪的扳机扣得多轻（α），却从不检查子弹膛线是否磨损、瞄准镜是否校准（Power），然后就笃定自己百发百中。真正的统计素养，是同时管理α（你愿意为“假阳性”付出多大代价）和β（你愿意为“假阴性”承担多大风险）。

2.3 权衡的艺术：α与β的此消彼长，以及它如何映射到现实成本

α和β的关系，不是简单的加减法，而是一个受多重因素影响的动态系统。你可以把它想象成一个三脚架，三个支点分别是：样本量（n）、效应量（Effect Size）、检验的显著性水平（α）。固定其中两个，第三个就决定了β（从而决定Power）。例如：

• 提高α（比如从0.05放宽到0.10）：相当于降低“证据门槛”，更容易拒绝H₀。这会直接降低β，提高Power。但代价是，你容忍了更多“冤假错案”（Type-I错误）。在药物审批中，α=0.05是铁律，因为批准一个无效甚至有害的药，社会成本太高；但在早期产品探索阶段，一个快速失败的MVP（Minimum Viable Product）测试，α=0.10甚至0.20都可能被接受，因为“错过一个好点子”的机会成本，可能高于“试错一次”的资源消耗。

• 增大样本量（n）：这是最“诚实”的方式。更多数据，就像给望远镜装上更大口径的镜片，能更清晰地分辨出微弱的信号（真实效应）。它能同时降低α和β的风险，但代价是时间、金钱和用户打扰。一个日活千万的App，为测一个按钮颜色，跑一个月A/B测试，可能损失数百万GMV；而一个初创公司，可能连1000个日活用户都凑不齐，就必须在极小样本下做决策。

• 增大效应量（Effect Size）：这往往不是你能控制的，而是业务现实。你想检测“页面加载速度提升1秒，对跳出率的影响”，这个效应量本身就很小，需要极大样本才能有高Power；而“全场五折促销对订单量的影响”，效应量巨大，几百个样本就能轻松检出。理解效应量，就是理解你的业务杠杆在哪里。我们团队曾帮一家SaaS公司优化注册流程，最初目标是“将注册完成率提升0.5%”，结果算了下，需要近50万用户才能达到80% Power。后来我们转向“将注册步骤从5步减到3步”，预估效应量跃升至8%，样本量需求骤降至2万。这就是把统计问题，转化成了清晰的产品问题。

提示：在设计任何假设检验前，必须回答三个问题：1）我能承受多高的“假阳性”率？（α）2）如果这个改进真实存在，我最不能接受的“漏检”概率是多少？（β，通常设为0.2，即Power=0.8）3）基于我的资源（时间、流量、预算），我能获得多大的样本量？这三个问题的答案，共同锁定了你所能检测到的最小效应量（MDE）。这不是统计学的妥协，而是用数据驱动决策的第一步——把模糊的“感觉”变成可量化的“约束”。

3. 核心细节解析：从定义到计算，看清每个参数背后的物理意义

3.1 Type-I错误（α）：那个被写进法律条文的“冤案率”

定义再确认：Type-I错误，是在零假设H₀为真时，错误地拒绝了H₀的概率。它的标准符号是α，也叫“显著性水平”（Significance Level）。

为什么是0.05？历史的偶然，而非科学的必然。这个数字最早可追溯到1925年，英国统计学家Ronald Fisher在其著作《统计学研究入门》中提出：“当p值小于约0.05时，结果可以认为是‘显著的’，值得进一步关注。”他本人从未说这是金科玉律，而只是作为一个方便的“启发式阈值”。后来，由于计算工具的限制（没有计算机，全靠查表），0.05、0.01、0.001这些容易查表的数值被广泛采用，并最终被写进了无数学科的期刊投稿指南和行业规范里。今天，选择α=0.05，本质上是一种社会契约——我们集体约定，在100次H₀为真的情况下，允许最多5次“误判”。它不是一个关于真理的声明，而是一个关于风险偏好的声明。

计算与可视化：用正态分布“画”出α。假设我们要检验一个新教学法是否提高了学生的平均成绩。H₀：μ = 75分（传统方法均值），H₁：μ > 75分（新方法更好）。我们抽取n=36名学生，已知总体标准差σ=12分（这是一个关键前提，实际中常用样本标准差s估计）。那么，样本均值x̄的抽样分布服从N(μ, σ²/n) = N(75, 12²/36) = N(75, 4)。现在，我们设定α=0.05，进行单侧检验。我们需要找到一个临界值c，使得P(x̄ > c | H₀为真) = 0.05。查标准正态分布表，Z_{0.95} = 1.645。所以c = 75 + 1.645 * √4 = 75 + 1.645 * 2 = 78.29。这意味着，只要我们观测到的样本均值x̄ > 78.29分，我们就拒绝H₀。这个78.29，就是我们的“判决红线”。而α=0.05，就是这条红线右侧，整个H₀分布曲线下方的面积。它直观地告诉你：即使新方法完全无效（H₀为真），也有5%的概率，仅仅因为运气好，抽到一群特别高分的学生，让你误以为新方法有效。

注意：α是事前设定的，是检验的“规则”。p值是事后计算的，是“证据强度”。p值<α，只是告诉你，当前证据强到足以触发我们事先约定的“拒绝规则”。它绝不等于“H₀为假的概率是95%”，这是最常见的贝叶斯式误解。p值的正确解读永远是：“在H₀为真的所有可能世界里，像本次观测这样极端（或更极端）的数据出现的概率。”

3.2 Type-II错误（β）与统计功效（Power）：那个被长期忽视的“漏网之鱼”

定义再确认：Type-II错误，是在备择假设H₁为真时，错误地未能拒绝H₀的概率。它的标准符号是β。而统计功效（Power） = 1 - β，即当H₁为真时，我们正确拒绝H₀的概率。这才是衡量一个检验“有多灵敏”的核心指标。

为什么β比α难计算？因为它依赖于“H₁具体是什么”。α的计算只需要知道H₀（一个确定的值，如μ=75），而β的计算需要知道H₁（一个范围，如μ=78, μ=80, μ=82…）。你无法计算“H₁为真时的β”，只能计算“当H₁取某个特定值μ₁时的β”。因此，β和Power总是相对于一个具体的、有意义的效应量而言的。回到上面的教学法例子，如果我们关心的是新方法能否将均值提高到μ₁=78分（即效应量δ = 78 - 75 = 3分），那么我们可以计算此时的β。

计算过程（接上例）：

• H₀: μ = 75, H₁: μ = 78
• 抽样分布 under H₀: N(75, 4)
• 抽样分布 under H₁: N(78, 4) （注意，方差不变，只是均值平移）
• 我们的拒绝域是 x̄ > 78.29（由α=0.05确定）
• 那么，β = P(不拒绝H₀ | H₁为真) = P(x̄ ≤ 78.29 | μ = 78)
• 计算标准化：Z = (78.29 - 78) / √4 = 0.29 / 2 = 0.145
• 查标准正态分布表，P(Z ≤ 0.145) ≈ 0.557
• 所以 β ≈ 0.557, Power = 1 - β ≈ 0.443

这个结果令人震惊：即使新教学法真实地将平均分提高了3分，我们这个检验也只有44.3%的概率能发现它！有超过一半的可能，我们会得出“无显著效果”的错误结论。这就是为什么Power=0.8（β=0.2）被广泛视为一个可接受的底线——它意味着，对于一个我们关心的、有意义的效应，我们有80%的把握能抓住它，而不是让它溜走。

效应量（Effect Size）：连接统计与业务的桥梁。上面计算中，δ=3分是效应量。但它太“裸露”了，无法跨场景比较。统计学中更常用的是Cohen's d：d = (μ₁ - μ₀) / σ。在这个例子里，d = 3 / 12 = 0.25。Cohen给出了经验性解释：d=0.2为小效应，d=0.5为中等效应，d=0.8为大效应。这意味着，3分的提升，在12分的标准差背景下，只是一个“小效应”。要达到Power=0.8，我们需要更大的d，或者更大的n。这直接翻译成业务语言就是：“如果我们的改进只能带来一个‘小效应’，要么我们得投入更多资源（增大n）来捕捉它，要么我们得承认，这个改进在当前的测量精度下，是不可靠的。”

3.3 样本量（n）：那个能同时撬动α和β的终极杠杆

样本量n，是唯一一个能在不改变α的前提下，实质性降低β（提高Power）的变量。它的计算公式，是统计功效分析的核心。以最常用的两独立样本t检验为例，计算达到目标Power所需的最小样本量n，其核心公式为：

n ≈ 2 * (Z_{1-α/2} + Z_{1-β})² * (σ / δ)²

其中：

• Z_{1-α/2} 是标准正态分布的上α/2分位数（双侧检验），α=0.05时，Z≈1.96
• Z_{1-β} 是标准正态分布的上β分位数，β=0.2（Power=0.8）时，Z≈0.84
• σ 是总体标准差（或预估的标准差）
• δ 是你希望检测到的最小效应量（μ₁ - μ₀）

把这个公式“翻译”成工程师能懂的语言：

• (Z_{1-α/2} + Z_{1-β})²是一个常数项，代表了你对“判决精度”（α）和“检测灵敏度”（Power）的双重要求。α越严（如0.01），Z越大；Power越高（如0.9），Z也越大。这个常数项，就是你为“不犯错”所支付的“基础成本”。
• (σ / δ)²是真正的“业务难度系数”。σ越大（数据越分散，噪声越大），δ越小（你想检测的效应越细微），这个系数就越大，意味着你需要指数级增长的样本量。一个销售数据波动剧烈（σ大）的行业，想检测一个微小的转化率提升（δ小），其样本量需求，会远超一个用户行为高度一致（σ小）的工具类产品。

实操中的“反向计算”技巧：在资源有限时，我们常常不做“正向计算n”，而是做“反向计算MDE”。即，给定你可用的最大样本量n_max、你设定的α和Power，反推出你在这个检验中，理论上能检测到的最小效应量δ_min。这个δ_min，就是你的“业务灵敏度”。如果δ_min远大于你业务上真正关心的改进幅度，那么这个A/B测试从一开始就是无效的。我建议所有A/B测试负责人，在启动实验前，必须把这张表打出来：

这张表，应该贴在你的实验看板首页。它比任何p值都更能告诉你：这次实验，到底能不能回答你想问的问题。

4. 实操过程与核心环节实现：从一张Excel表开始，完成一次完整的功效分析

4.1 工具选型：为什么我坚持用G*Power和R，而不是Python库？

市面上有大量工具可以做功效分析：Python的statsmodels.stats.power、R的pwr包、商业软件JMP、SPSS，还有免费的在线计算器。但我个人在团队中推行的，是G*Power（桌面GUI） + R（脚本化复现）的组合。原因非常务实：

• G*Power是“思考的脚手架”。它的界面强制你一步步选择检验类型（t-test, F-test, χ²-test…）、检验方向（单侧/双侧）、输入α、Power、效应量或样本量。这个填空的过程，本身就是一次深度的概念梳理。很多同事在G*Power里点了几下，才恍然大悟：“哦，原来我之前做的卡方检验，是按‘关联强度’算效应量，不是按‘均值差’！” 而Python库，一行代码TTestIndPower().solve_power(...)就完成了，但你根本不知道背后发生了什么。

• R的pwr包是“可审计的流水线”。一旦GPower帮你理清了思路，我就用R脚本固化整个分析流程。R的好处是，所有参数、计算过程、中间结果，都明明白白写在.R文件里，可以版本控制（Git），可以分享给同事复现，可以嵌入到自动化报告中。相比之下，Python的statsmodels虽然强大，但其文档对初学者不够友好，且错误信息有时晦涩。而GPower生成的报告，是静态PDF，无法追踪变更。

实操心得：不要迷信“全自动”。我见过太多团队，把功效分析外包给一个黑盒脚本，结果因为一个参数单位输错了（比如把标准差12输成1.2），导致样本量计算偏差100倍，实验周期从1周变成3个月。最好的工具，是能让你“看见”自己思考过程的工具。G*Power的图形化输出（如功效曲线图），就是最好的思考可视化。

4.2 完整实操：用G*Power为一个电商A/B测试做功效分析

场景设定：某电商平台要测试“商品详情页增加‘销量实时滚动’模块”对“加入购物车率（Add-to-Cart Rate, ATR）”的影响。历史数据显示，当前ATR均值为12.5%，标准差约为8.5个百分点（注意：这里是百分点，不是百分比，即σ=0.085）。业务方认为，如果ATR能提升0.8个百分点（即δ=0.008），就值得全量。我们计划进行为期14天的A/B测试，预计每天可分配给实验组的流量为50,000 UV。问：这个实验设计，能达到多少Power？如果不够，需要调整什么？

步骤详解（G*Power操作）：

1. 打开G*Power，选择Test→Means→Two independent groups→t tests→Means: Difference between two independent means (two groups)。
2. 设置“分析类型”：选择A priori: Compute required sample size（先验分析，求样本量）。但我们这里先做Post hoc: Compute achieved power（事后分析，求已知n下的Power），来评估现有设计。
3. 输入参数：
   • Tail(s):Two（双侧检验，因为我们关心提升或下降）
   • α err prob:0.05
   • Power (1-β err prob):?（留空，我们要求它）
   • Allocation ratio N2/N1:1（实验组和对照组样本量相等）
   • Determine → Effect size d: 点击这个按钮，进入效应量计算器。
     • Mean group 1:0.125（对照组ATR）
     • Mean group 2:0.133（实验组ATR，即12.5% + 0.8%）
     • SD σ:0.085（标准差）
     • 点击Calculate and transfer to main window。G*Power自动计算出d = 0.0941（这是一个非常小的效应！）。
4. 回到主窗口，在Input parameters区域：
   • d:0.0941（已填入）
   • Total sample size N:50,000 * 14 * 2 = 1,400,000（总样本量，两组各70万）
   • 点击Calculate。
5. 查看结果：G*Power显示Achieved power (1-β) = 0.517。也就是说，即使这个“销量滚动”功能真实地将ATR提升了0.8个百分点，我们这个实验也只有51.7%的概率能检测出来。这远远低于业界通行的80%底线。

决策与调整：

• 方案A（最激进）：放弃检测0.8%的提升，重新定义MDE。G*Power反向计算：在n=1,400,000, α=0.05, Power=0.8下，d_min = 0.053，对应δ_min = 0.053 * 0.085 ≈ 0.0045 =0.45个百分点。这意味着，我们只能可靠地检测到0.45%及以上的提升。如果业务方认为0.45%也足够有价值，那就OK。
• 方案B（最务实）：延长实验周期。保持MDE=0.8%，Power=0.8，反向计算所需总样本量：Total sample size N = 5,200,000。按每天10万UV算，需要52天。这显然不现实。于是我们妥协：将Power目标降至0.7，此时所需n≈3,800,000，仍需38天。最终，团队决定将实验周期延长至21天（总样本量2,100,000），并接受Power≈0.65。这是一个明确的、基于数据的权衡，而不是拍脑袋。

4.3 R脚本化复现：让功效分析成为可重复的工程实践

将上述G*Power的分析，用R脚本固化下来，是保证长期一致性的关键。以下是我团队使用的标准模板（ab_test_power.R）：

# 加载必要包 if (!require(pwr)) install.packages("pwr") library(pwr) # === 1. 业务参数配置（此处应由产品经理/业务方填写）=== current_rate <- 0.125 # 当前ATR均值 mde_abs <- 0.008 # 最小可检测效应（绝对值，0.8%） sigma <- 0.085 # 历史标准差 alpha <- 0.05 # 显著性水平 target_power <- 0.8 # 目标统计功效 planned_days <- 14 # 计划实验天数 daily_traffic <- 100000 # 每日总流量（实验+对照） # === 2. 计算效应量 d === d <- mde_abs / sigma cat(sprintf("计算得到的Cohen's d = %.4f\n", d)) # === 3. 计算所需总样本量（两组）=== # pwr.t.test() 默认计算每组样本量 n result_n <- pwr.t.test(d = d, sig.level = alpha, power = target_power, type = "two.sample", alternative = "two.sided") required_n_per_group <- ceiling(result_n$n) required_total_n <- 2 * required_n_per_group cat(sprintf("达到Power=%.1f所需总样本量: %d\n", target_power, required_total_n)) cat(sprintf(" 其中，每组需: %d\n", required_n_per_group)) # === 4. 评估现有计划的Power === planned_n_per_group <- (daily_traffic / 2) * planned_days # 假设流量均分 planned_total_n <- 2 * planned_n_per_group achieved_power <- pwr.t.test(n = planned_n_per_group, d = d, sig.level = alpha, type = "two.sample", alternative = "two.sided")$power cat(sprintf("按当前计划（%d天），可达成的Power: %.3f\n", planned_days, achieved_power)) # === 5. 反向计算：在现有样本量下，能达到的MDE === # 使用pwr.t.test的反向模式：固定n, power, alpha, 求d min_d_achievable <- pwr.t.test(n = planned_n_per_group, sig.level = alpha, power = target_power, type = "two.sample", alternative = "two.sided")$d min_mde_achievable <- min_d_achievable * sigma cat(sprintf("在%d天内，能达到Power=%.1f的最小可检测效应(MDE): %.4f (即 %.2f%%)\n", planned_days, target_power, min_mde_achievable, min_mde_achievable * 100)) # === 6. 输出决策建议 === if (achieved_power < 0.7) { cat("\n【决策建议】当前Power过低(<0.7)，强烈建议：\n") if (required_total_n > planned_total_n * 1.5) { cat("- 重新评估MDE，是否可接受更大的效应量？\n") } if (planned_days < 30) { cat("- 考虑延长实验周期。\n") } cat("- 或者，增加每日实验流量分配比例（需评估对用户体验影响）。\n") } else { cat("\n【决策建议】当前Power可接受，可以启动实验。\n") }

运行这个脚本，你会得到一份清晰、可审计、可分享的决策报告。它不再是一个黑盒，而是一个透明的、基于共识的对话起点。当产品经理说“我们必须检测到0.5%”，而脚本输出“这需要90天”，双方就能基于同一份数据，讨论“90天是否可行”，而不是争论“0.5%重不重要”。

5. 常见问题与排查技巧实录：那些只有踩过坑才知道的真相

5.1 “我的p值是0.001，为什么Power分析还说结果不可靠？”——p值与Power的根本区别

这是新手最常陷入的思维陷阱。他们看到p=0.001，喜出望外，觉得“证据确凿”，然后一做Power分析，发现Power只有0.3，就彻底懵了：“这不矛盾吗？”

真相是：p值和Power，描述的是完全不同的两个世界。

• p值：描述的是“如果H₀为真，我看到当前数据（或更极端数据）的可能性”。它是一个关于过去（已发生的实验）的条件概率。
• Power：描述的是“如果H₁为真（且H₁取某个特定值），我未来做一次实验，有多大可能得到p<α的结果”。它是一个关于未来（尚未发生的实验）的条件概率。

举个生活化的例子：你用一个老式金属探测器在沙滩上找一枚硬币。

• p值：相当于你探测器“滴滴”响了，你问：“如果地下根本没有硬币（H₀为真），这个‘滴滴’声纯粹是电磁干扰造成的概率有多大？” p=0.001，意味着干扰造成这个声音的概率只有千分之一，所以你有理由怀疑地下有东西。
• Power：相当于你问：“如果地下确实埋着一枚硬币（H₁为真），我的探测器有多大把握能‘滴滴’响起来？” 如果探测器电池快没电了（Power低），即使硬币就在那儿，它也可能一声不吭。

所以，p=0.001只说明“这次响了，不太可能是假警报”，但它完全不保证“下次你去同一个地方，它还能响”。Power=0.3，恰恰说明，即使硬币真的在那里，你下次去，也有70%的概率什么都听不到。因此，一个p值极小但Power极低的实验，其结论是脆弱的——它可能是一次幸运的“抓拍”，而不是一个可复现的规律。这也是为什么顶级期刊越来越强调，发表的研究必须报告其统计功效。

5.2 “我用了很大的样本量，Power也很高，为什么上线后效果消失了？”——外部效度与生态效度的致命鸿沟

我经历过最痛的一次教训：一个金融App的A/B测试，样本量超千万，Power=0.99，p<0.001，结果显示“新风险提示弹窗”将用户风险认知度提升了15%。全量上线后，客服投诉量暴增30%，用户流失率不降反升。

问题出在：我们完美地控制了内部效度（Internal Validity），却彻底忽略了外部效度（External Validity）和生态效度（Ecological Validity）。

• 内部效度：指实验本身是否干净地隔离了因果关系。我们的A/B测试做到了，因为流量是随机分配的。
• 外部效度：指实验结果能否推广到更广泛的总体。我们的样本是“过去30天内活跃的用户”，但上线后面对的是“所有新注册用户”，后者对风险的认知基线完全不同。
• 生态效度：指实验环境是否模拟了真实世界。我们的A/B测试中，“风险提示弹窗”是作为孤立事件出现的；但真实使用中，用户可能正在同时处理转账、查询余额、联系客服等多个任务，弹窗的干扰效应被急剧放大。

排查技巧：在做Power分析时，必须同步进行“效度三角验证”：

1. 人群匹配度检查：实验组用户的画像（年龄、地域、设备、行为深度）与你计划全量覆盖的用户画像，重合度是否>90%？如果不是，Power再高也是空中楼阁。
2. 情境还原度检查：实验中的交互路径，是否与用户真实路径一致？例如，测试一个“一键退款”按钮，如果实验中用户是专门点进“我的订单”页去测试的，而真实场景中用户可能是在收到快递后，从消息通知跳转过来的，那实验就失去了生态效度。
3. 长期效应检查：Power分析通常基于单次、短期的效应。但很多产品改进（如UI改版）的效果是衰减的（Hawthorne效应）或累积的（学习效应）。务必规划“长期追踪期”，在上线后30天、60天、90天，持续监测核心指标，看效果是否稳定。

5.3 “为什么不同工具算出来的样本量不一样？”——参数假设的魔鬼细节

你用G*Power算出需要10万样本，用Python的statsmodels算出需要12万，用在线计算器又算出8万。哪个是对的？答案往往是：它们都对，因为它们基于不同的默认假设。这是最隐蔽的坑。

关键差异点排查清单：