通俗理解Transformer:BN与LN归一化对比实战

作者:热心市民鹿先生2026.11.18 11:23浏览量:0

简介:本文从维度视角切入,通俗讲解 Transformer 中 Batch Normalization(BN)与 Layer Normalization(LN)的本质差异,并通过数学推导、通用伪代码与可视化思路,说明为何变长序列的自然语言处理任务更适合 LN。读完可掌握归一化的作用原理、两种方案的实现方法、正确的选型依据,以及训练不稳定、训练推理不一致等常见问题的排查思路。

教程目标

本教程帮助你从零理解 Transformer 中归一化层(Normalization)的设计逻辑,重点厘清 Batch Normalization(BN)与 Layer Normalization(LN)的本质差异,并用数学推导与通用伪代码说明:为什么处理变长序列的自然语言处理(NLP)任务普遍选用 LN 而非 BN。

完成本教程后,你应当能够:

  1. 从张量维度视角解释 BN 与 LN 各自”沿哪个方向、用什么统计量”做归一化;
  2. 理解 BN 在序列数据上的三大缺陷,并能从数学上说明成因;
  3. 独立实现 BN 与 LN 两个模块,并在模拟数据上做数值验证;
  4. 依据任务特性(序列长度、批量大小、训练/推理一致性)做出正确选型。

适用场景

  • 准备技术面试、需要深入回答”为什么 Transformer 用 LN 而不是 BN”的候选人;
  • 需要为自研模型选择归一化方案、并排查训练不稳定问题的算法工程师;
  • 希望从数学与代码两个层面真正吃透归一化机制、而不是停留在”调包调用”的开发者。

前置准备

  • 基础数学:均值、方差、标准差的定义与计算方式;
  • 张量概念:理解多维数组,以及”沿某个维度求统计量”的含义;
  • 神经网络基础:了解前向传播、可学习参数、损失函数与梯度下降;
  • 环境说明:本教程无需依赖任何特定深度学习框架,伪代码只使用通用数学运算(求和、求均值、开方、广播),可在任意支持张量运算的环境中改写实现。

第一步:理解归一化的本质

归一化的核心目的,是缓解深层网络训练中的内部协变量偏移(Internal Covariate Shift):随着前面层参数更新,后面层接收到的输入分布不断漂移,导致训练变慢、对学习率敏感。

将每一层的输入分布拉回到”均值接近 0、方差接近 1”的标准区间,可以带来三方面收益:

  • 加速收敛:分布稳定后允许使用更大的学习率;
  • 平滑损失地形:让梯度下降路径更平缓,减少震荡;
  • 一定的正则化效果:批量统计量的随机性会引入轻微噪声。

理解归一化的关键不在于公式本身,而在于一个核心问题:统计均值和方差时,是”跨样本统计”还是”跨特征统计”? 这个问题的答案,直接决定了 BN 与 LN 的全部差异。

第二步:从维度视角区分 BN 与 LN

设输入张量 X 的形状为 (N, L, C):

  • N:Batch Size(批量大小);
  • L:Sequence Length(序列长度);
  • C:Channel / Hidden Dimension(特征维度)。

Batch Normalization(BN)——沿 Batch 方向统计

对每一个特征通道 c,BN 会统计整个 Batch 中所有样本、所有位置上该通道的均值与方差。它回答的问题是:”这一个特征,在一整批数据里通常是什么水平?”

数学表达(对第 c 个通道):

  1. μ_c = (1 / (N×L)) · Σ_n Σ_l x[n,l,c]
  2. σ²_c = (1 / (N×L)) · Σ_n Σ_l (x[n,l,c] − μ_c)²
  3. x̂[n,l,c] = (x[n,l,c] − μ_c) / sqrt(σ²_c + ε)
  4. y[n,l,c] = γ_c · x̂[n,l,c] + β_c

特点:γ、β 是每个通道一组的可学习参数;统计量依赖于同一批里的其他样本。

Layer Normalization(LN)——沿特征方向统计

对每一个具体的 token(每个 (n, l) 位置),LN 会统计该 token 在特征维度 C 上的均值与方差。它回答的问题是:”这一个 token,它自己的各个特征之间是什么分布?”

数学表达(对每个 token 位置):

  1. μ[n,l] = (1 / C) · Σ_c x[n,l,c]
  2. σ²[n,l] = (1 / C) · Σ_c (x[n,l,c] − μ[n,l])²
  3. x̂[n,l,c] = (x[n,l,c] − μ[n,l]) / sqrt(σ²[n,l] + ε)
  4. y[n,l,c] = γ_c · x̂[n,l,c] + β_c

特点:γ、β 仍是每个通道一组,但统计量只依赖当前 token 自身,与其他样本、其他位置无关。

一句话记忆:BN 是”横着看一批数据里的同一列”,LN 是”竖着看同一个 token 里的整行”。

第三步:数学推导——为什么 NLP 不适合 BN

BN 的三大问题都可以从”沿 Batch 方向统计”这一本质推导出来。

问题一:变长序列与 Padding 污染

NLP 样本长度不一,训练时通常用 Padding 补零对齐成矩形张量。BN 沿 (N, L) 方向统计时,这些补进来的 0(或掩码值)会直接进入均值和方差的计算:

  • 均值被拉向 0,方差被人为放大或缩小;
  • 越短的样本,其真实 token 被越多 Padding 稀释,统计量越失真;
  • 即使做掩码,也要额外维护 mask 并改动统计逻辑,实现复杂且易错。

而 LN 对每个 token 独立统计,真实 token 的归一化不受同批其他样本长度的影响,天然更适配变长序列。

问题二:强依赖 Batch Size

BN 用当前批的统计量估计总体分布,批量越小,估计噪声越大。而大型 Transformer 受显存限制,Batch Size 往往只能开到很小(甚至逐样本梯度累积),此时 BN 的统计量无法代表真实分布,训练容易不稳定、震荡甚至不收敛。LN 的统计量只来自单个 token 的 C 个特征,与批量大小无关,小批量下依然稳定。

问题三:训练与推理行为不一致

BN 在训练时用”当前批统计量”,在推理时用”训练期间累积的移动平均(Running Mean/Var)”。这意味着同一个输入在训练和推理阶段会被用不同的统计量归一化,带来分布偏移,需要在推理前正确固化统计量,配置不当就会导致效果掉点。LN 无论训练还是推理,都直接用当前输入实时计算统计量,两阶段行为完全一致,省心且更可靠。

综合来看,LN 的”逐 token、跨特征、不依赖批量、训练推理一致”这四点,恰好契合 Transformer 处理变长序列、常用小批量、追求稳定训练的需求,这也是原始 Transformer 结构选择 LN 的根本原因。

第四步:代码实战——手写 BN 与 LN

以下伪代码仅使用通用张量运算,注意两者”求统计量的维度”不同,这是全部差异所在:

  1. # 输入 X 形状固定为 [N, L, C]
  2. # gamma, beta 形状为 [C],为可学习参数;eps 防止除零
  3. def batch_norm(X, gamma, beta, eps=1e-5):
  4. # 沿 N、L 两个维度求统计,保留通道维 C
  5. mu = mean(X, axes=[0, 1]) # 形状 [C]
  6. var = mean((X - mu) ** 2, axes=[0, 1]) # 形状 [C]
  7. x_hat = (X - mu) / sqrt(var + eps) # 依赖同批其他样本
  8. return gamma * x_hat + beta # gamma/beta 按通道广播
  9. def layer_norm(X, gamma, beta, eps=1e-5):
  10. # 沿 C 维度求统计,对每个 token 独立处理
  11. mu = mean(X, axis=2, keepdims=True) # 形状 [N, L, 1]
  12. var = mean((X - mu) ** 2, axis=2, keepdims=True)
  13. x_hat = (X - mu) / sqrt(var + eps) # 只依赖当前 token
  14. return gamma * x_hat + beta # 广播到每个 token 的 C 维

关键观察点:

  • BN 的 axes=[0, 1]:跨样本、跨位置统计,输出统计量只有 C 个;
  • LN 的 axis=2:跨特征统计,输出统计量是 N×L 个(每个 token 一套);
  • 两者的 gamma/beta 形状都是 [C],但含义不同:BN 里它缩放的是”某个通道跨批分布”,LN 里它缩放的是”某个通道在 token 内的相对位置”。

第五步:可视化分析——直观感受分布变化

为验证实现是否正确,可在模拟数据上绘制归一化前后的分布直方图:

  1. 构造一个明显偏斜或尺度不一的输入张量(例如让不同通道的方差相差 10 倍以上);
  2. 分别对 BN 与 LN 做归一化;
  3. 绘制每个通道/每个 token 的均值与方差分布图,观察是否收敛到均值≈0、方差≈1。

预期结果:BN 后,每个通道在所有样本上的分布被拉齐;LN 后,每个 token内部的特征分布被拉齐。再进一步人为注入大量 Padding 零值,你会直观看到 BN 的分布被明显带偏,而 LN 的分布几乎不受影响——这就是”为什么 NLP 用 LN”最直观的证据。

配置说明

实现或选用归一化时,需要关注几个通用配置项:

  • eps(数值稳定项):防止方差为 0 时除零,通常取 1e-5 量级;过大则会削弱归一化强度,过小可能引发数值不稳定;
  • 可学习缩放与偏移(γ、β):允许网络在归一化后恢复表达能力。若任务简单或需更强正则,也可考虑去掉(相当于纯标准化);
  • 归一化插入位置:放在子层之前(Pre-Norm)通常训练更稳定、更易堆叠深层,放在子层之后(Post-Norm)在某些配置下收敛更快但对学习率更敏感,二者是 Transformer 结构中常被讨论的权衡点;
  • 掩码处理:对带 Padding 的序列,无论用哪种归一化,都应在注意力等计算中正确屏蔽 Padding 位置,避免其影响结果。

结果验证

如何判断你的归一化实现是否正确?可按以下顺序自检:

  1. 单元测试:输入全为相同值的张量,归一化后(未加 γ、β 时)结果应接近 0;输入均值/方差符合预期时,输出统计量应接近均值 0、方差 1;
  2. 形状校验:确认 BN 统计量形状为 [C],LN 统计量形状为 [N, L, 1],两者不可混用;
  3. 训练收敛性:在同一模型上分别替换 BN/LN,观察损失曲线。小批量场景 LN 通常更平滑;
  4. 训练推理一致性:对 LN,随机取一个输入分别在训练与推理模式下前向,输出应完全一致;这也是它优于 BN 的直接体现。

常见问题与排查

  • 现象:使用 BN 后小批量训练震荡、不收敛。 原因多为批量过小导致统计量噪声大,或 Padding 污染统计量。排查方向:改用 LN,或在 BN 中正确实现掩码统计。
  • 现象:训练和推理效果差异大。 常见于 BN 的移动平均统计量未正确更新或固化。排查方向:确认推理阶段使用累积统计量,或改用训练推理一致的 LN。
  • 现象:归一化后精度异常或出现 NaN。 多为 eps 过小导致除零。排查方向:适当增大 eps,并检查输入是否包含非法值。
  • 现象:忘了对 γ、β 做形状匹配导致广播错误。 排查方向:确认 γ、β 形状为 [C],能在特征维上正确广播到 [N, L, C]。

优化建议

  • 优先 LN:处理变长序列、使用小批量、追求训练推理一致的 NLP 与 Transformer 类任务,首选 LN;
  • 大批量视觉任务:若输入尺寸固定、批量足够大,BN 的跨样本统计依然有效,可按场景选用;
  • 控制 ε 与初始化:合理设置 eps 与 γ、β 初始值(γ 初始为 1、β 初始为 0 是常见做法),避免训练初期数值失稳;
  • 可维护性:把”统计维度”作为归一化的唯一抽象参数封装,便于在 BN/LN 之间切换与对比实验;
  • 成本角度:LN 逐 token 计算、无需维护跨样本移动平均状态,在大模型分布式训练中更易扩展。

总结

归一化看似只是”减均值、除标准差”,真正的分水岭在于沿哪个维度统计。BN 沿 Batch 方向跨样本统计,受变长序列、小批量、训练推理不一致三重制约;LN 沿特征方向逐 token 统计,天然契合 Transformer 的需求,这也是它成为序列模型默认选择的原因。掌握”维度视角 + 数学推导 + 手写实现 + 分布验证”这套方法后,你不仅能回答面试中的经典问题,也能在真实项目中做出可靠的归一化选型与问题排查。后续可继续关注 Pre-Norm 与 Post-Norm 的深层权衡、RMSNorm 等新归一化变体,以及它们在大规模模型训练稳定性中的作用。