简介:本文从维度视角切入,通俗讲解 Transformer 中 Batch Normalization(BN)与 Layer Normalization(LN)的本质差异,并通过数学推导、通用伪代码与可视化思路,说明为何变长序列的自然语言处理任务更适合 LN。读完可掌握归一化的作用原理、两种方案的实现方法、正确的选型依据,以及训练不稳定、训练推理不一致等常见问题的排查思路。
本教程帮助你从零理解 Transformer 中归一化层(Normalization)的设计逻辑,重点厘清 Batch Normalization(BN)与 Layer Normalization(LN)的本质差异,并用数学推导与通用伪代码说明:为什么处理变长序列的自然语言处理(NLP)任务普遍选用 LN 而非 BN。
完成本教程后,你应当能够:
归一化的核心目的,是缓解深层网络训练中的内部协变量偏移(Internal Covariate Shift):随着前面层参数更新,后面层接收到的输入分布不断漂移,导致训练变慢、对学习率敏感。
将每一层的输入分布拉回到”均值接近 0、方差接近 1”的标准区间,可以带来三方面收益:
理解归一化的关键不在于公式本身,而在于一个核心问题:统计均值和方差时,是”跨样本统计”还是”跨特征统计”? 这个问题的答案,直接决定了 BN 与 LN 的全部差异。
设输入张量 X 的形状为 (N, L, C):
Batch Normalization(BN)——沿 Batch 方向统计
对每一个特征通道 c,BN 会统计整个 Batch 中所有样本、所有位置上该通道的均值与方差。它回答的问题是:”这一个特征,在一整批数据里通常是什么水平?”
数学表达(对第 c 个通道):
μ_c = (1 / (N×L)) · Σ_n Σ_l x[n,l,c]σ²_c = (1 / (N×L)) · Σ_n Σ_l (x[n,l,c] − μ_c)²x̂[n,l,c] = (x[n,l,c] − μ_c) / sqrt(σ²_c + ε)y[n,l,c] = γ_c · x̂[n,l,c] + β_c
特点:γ、β 是每个通道一组的可学习参数;统计量依赖于同一批里的其他样本。
Layer Normalization(LN)——沿特征方向统计
对每一个具体的 token(每个 (n, l) 位置),LN 会统计该 token 在特征维度 C 上的均值与方差。它回答的问题是:”这一个 token,它自己的各个特征之间是什么分布?”
数学表达(对每个 token 位置):
μ[n,l] = (1 / C) · Σ_c x[n,l,c]σ²[n,l] = (1 / C) · Σ_c (x[n,l,c] − μ[n,l])²x̂[n,l,c] = (x[n,l,c] − μ[n,l]) / sqrt(σ²[n,l] + ε)y[n,l,c] = γ_c · x̂[n,l,c] + β_c
特点:γ、β 仍是每个通道一组,但统计量只依赖当前 token 自身,与其他样本、其他位置无关。
一句话记忆:BN 是”横着看一批数据里的同一列”,LN 是”竖着看同一个 token 里的整行”。
BN 的三大问题都可以从”沿 Batch 方向统计”这一本质推导出来。
问题一:变长序列与 Padding 污染
NLP 样本长度不一,训练时通常用 Padding 补零对齐成矩形张量。BN 沿 (N, L) 方向统计时,这些补进来的 0(或掩码值)会直接进入均值和方差的计算:
而 LN 对每个 token 独立统计,真实 token 的归一化不受同批其他样本长度的影响,天然更适配变长序列。
问题二:强依赖 Batch Size
BN 用当前批的统计量估计总体分布,批量越小,估计噪声越大。而大型 Transformer 受显存限制,Batch Size 往往只能开到很小(甚至逐样本梯度累积),此时 BN 的统计量无法代表真实分布,训练容易不稳定、震荡甚至不收敛。LN 的统计量只来自单个 token 的 C 个特征,与批量大小无关,小批量下依然稳定。
问题三:训练与推理行为不一致
BN 在训练时用”当前批统计量”,在推理时用”训练期间累积的移动平均(Running Mean/Var)”。这意味着同一个输入在训练和推理阶段会被用不同的统计量归一化,带来分布偏移,需要在推理前正确固化统计量,配置不当就会导致效果掉点。LN 无论训练还是推理,都直接用当前输入实时计算统计量,两阶段行为完全一致,省心且更可靠。
综合来看,LN 的”逐 token、跨特征、不依赖批量、训练推理一致”这四点,恰好契合 Transformer 处理变长序列、常用小批量、追求稳定训练的需求,这也是原始 Transformer 结构选择 LN 的根本原因。
以下伪代码仅使用通用张量运算,注意两者”求统计量的维度”不同,这是全部差异所在:
# 输入 X 形状固定为 [N, L, C]# gamma, beta 形状为 [C],为可学习参数;eps 防止除零def batch_norm(X, gamma, beta, eps=1e-5):# 沿 N、L 两个维度求统计,保留通道维 Cmu = mean(X, axes=[0, 1]) # 形状 [C]var = mean((X - mu) ** 2, axes=[0, 1]) # 形状 [C]x_hat = (X - mu) / sqrt(var + eps) # 依赖同批其他样本return gamma * x_hat + beta # gamma/beta 按通道广播def layer_norm(X, gamma, beta, eps=1e-5):# 沿 C 维度求统计,对每个 token 独立处理mu = mean(X, axis=2, keepdims=True) # 形状 [N, L, 1]var = mean((X - mu) ** 2, axis=2, keepdims=True)x_hat = (X - mu) / sqrt(var + eps) # 只依赖当前 tokenreturn gamma * x_hat + beta # 广播到每个 token 的 C 维
关键观察点:
axes=[0, 1]:跨样本、跨位置统计,输出统计量只有 C 个;axis=2:跨特征统计,输出统计量是 N×L 个(每个 token 一套);gamma/beta 形状都是 [C],但含义不同:BN 里它缩放的是”某个通道跨批分布”,LN 里它缩放的是”某个通道在 token 内的相对位置”。为验证实现是否正确,可在模拟数据上绘制归一化前后的分布直方图:
预期结果:BN 后,每个通道在所有样本上的分布被拉齐;LN 后,每个 token内部的特征分布被拉齐。再进一步人为注入大量 Padding 零值,你会直观看到 BN 的分布被明显带偏,而 LN 的分布几乎不受影响——这就是”为什么 NLP 用 LN”最直观的证据。
实现或选用归一化时,需要关注几个通用配置项:
如何判断你的归一化实现是否正确?可按以下顺序自检:
归一化看似只是”减均值、除标准差”,真正的分水岭在于沿哪个维度统计。BN 沿 Batch 方向跨样本统计,受变长序列、小批量、训练推理不一致三重制约;LN 沿特征方向逐 token 统计,天然契合 Transformer 的需求,这也是它成为序列模型默认选择的原因。掌握”维度视角 + 数学推导 + 手写实现 + 分布验证”这套方法后,你不仅能回答面试中的经典问题,也能在真实项目中做出可靠的归一化选型与问题排查。后续可继续关注 Pre-Norm 与 Post-Norm 的深层权衡、RMSNorm 等新归一化变体,以及它们在大规模模型训练稳定性中的作用。