简介：本文深入探讨AB实验中的统计学基础，聚焦假设检验原理、流程及最小样本量计算方法，通过理论解析与案例结合，为实验设计者提供科学决策依据，提升实验效率与结果可靠性。

AB实验统计学基础：假设检验和最小样本量

引言

AB实验（A/B Testing）是产品优化、算法迭代的核心方法，通过对比实验组与对照组的差异验证假设。其统计学基础——假设检验与最小样本量计算，直接决定了实验结论的可信度与资源利用效率。本文将从理论到实践，系统梳理这两大核心要素。

一、假设检验：AB实验的核心逻辑

1.1 假设检验的基本原理

假设检验通过构建原假设（H₀）与备择假设（H₁），利用样本数据判断是否存在足够证据拒绝H₀。在AB实验中：

H₀：实验组与对照组无显著差异（如转化率相同）
H₁：实验组与对照组存在显著差异（如转化率提升）

关键概念：

显著性水平（α）：犯第一类错误（H₀为真时拒绝）的概率，通常设为0.05。
检验统计量：如Z值、T值，用于量化样本差异与随机波动的比例。
P值：在H₀下，观察到当前或更极端结果的概率。若P < α，则拒绝H₀。

1.2 假设检验的流程

定义假设：明确H₀与H₁，例如：
- H₀：新算法点击率 ≤ 原算法点击率
- H₁：新算法点击率 > 原算法点击率
选择检验方法：根据数据类型（连续/离散）、样本量（大/小样本）选择Z检验、T检验或卡方检验。
计算检验统计量：例如，两独立样本T检验的公式为：
[
T = \frac{\bar{X}_1 - \bar{X}_2}{\sqrt{\frac{s_1^2}{n_1} + \frac{s_2^2}{n_2}}}
]
确定临界值或P值：根据α和自由度查表或使用统计软件。
做出决策：若P < α或统计量超出临界值，拒绝H₀。

1.3 常见误区与注意事项

多重比较问题：同时进行多个检验时，需调整显著性水平（如Bonferroni校正），避免假阳性累积。
样本独立性：确保实验组与对照组样本无交叉或干扰。
效应量（Effect Size）：仅关注P值可能忽略实际意义，需结合效应量（如Cohen’s d）评估差异大小。

二、最小样本量计算：平衡效率与准确性

2.1 样本量决定因素

最小样本量受以下因素影响：

显著性水平（α）：α越小，所需样本量越大。
统计功效（1-β）：β为第二类错误概率，通常设为0.2（即功效80%）。
效应量：预期差异越小，所需样本量越大。
方差：数据波动性越大，所需样本量越大。

2.2 样本量计算公式（以两独立样本均值检验为例）

[
n = 2 \left( \frac{Z{1-\alpha/2} + Z{1-\beta}}{\delta / \sigma} \right)^2
]

(Z_{1-\alpha/2})：标准正态分布的分位数（如α=0.05时为1.96）。
(Z_{1-\beta})：统计功效对应的分位数（如β=0.2时为0.84）。
(\delta)：预期差异（效应量）。
(\sigma)：标准差（可通过预实验或历史数据估计）。

案例：假设预期转化率提升2%（(\delta=0.02)），历史标准差为5%（(\sigma=0.05)），α=0.05，β=0.2，则：
[
n = 2 \left( \frac{1.96 + 0.84}{0.02 / 0.05} \right)^2 = 2 \left( \frac{2.8}{0.4} \right)^2 = 2 \times 49 = 98
]
即每组需至少98个样本。

2.3 样本量优化策略

预实验（Pilot Study）：通过小规模实验估计方差，调整样本量计算。
顺序检验（Sequential Testing）：动态监控实验结果，提前终止无效实验。
分层抽样：对关键子群体单独计算样本量，确保代表性。
贝叶斯方法：结合先验分布，动态更新后验概率，减少样本需求。

三、实际应用中的挑战与解决方案

3.1 数据稀疏性问题

场景：低转化率（如<1%）或短周期实验中，样本量需求可能不切实际。
解决方案：

使用泊松检验或比例检验，替代均值检验。
延长实验周期或扩大用户池。
采用分层抽样，聚焦高活跃用户。

3.2 非正态分布数据

场景：收入、停留时间等数据通常右偏，不满足T检验的正态性假设。
解决方案：

数据转换（如对数转换）。
使用非参数检验（如Mann-Whitney U检验）。
增大样本量，依赖中心极限定理。

3.3 多变量实验设计

场景：同时测试多个变量（如按钮颜色、文案）时，样本量需求指数级增长。
解决方案：

采用因子设计或正交实验，减少组合数量。
使用多臂老虎机（MAB）算法，动态分配流量。

四、工具与代码示例

4.1 统计软件与库

Python：statsmodels、scipy.stats
R：pwr包（专用于功效分析）
在线计算器：如Evan’s Awesome A/B Tools

4.2 Python代码示例：样本量计算

from statsmodels.stats.power import TTestIndPower
from statsmodels.stats.proportion import proportion_effectsize
# 参数设置
alpha = 0.05  # 显著性水平
power = 0.8   # 统计功效
effect_size = proportion_effectsize(0.05, 0.07)  # 预期转化率从5%提升到7%
# 计算样本量
analysis = TTestIndPower()
n = analysis.solve_power(effect_size, power=power, alpha=alpha, ratio=1)
print(f"每组所需样本量: {int(n)}")

输出：每组所需样本量: 1571

五、结论与建议

科学设定假设：明确H₀与H₁，避免模糊表述。
预估效应量：通过历史数据或预实验合理设定预期差异。
动态调整：实验过程中监控P值与置信区间，必要时提前终止或扩展。
文档化流程：记录假设检验步骤与样本量计算依据，确保可复现性。

AB实验的统计学基础是数据驱动决策的基石。通过掌握假设检验与最小样本量计算，实验设计者能够以更低的成本、更高的效率验证假设，为产品优化提供可靠依据。

AB实验统计学进阶：假设检验与样本量优化指南