如何真正看懂Transformer的反向传播:梯度流全解析

作者:狼烟四起2026.11.18 11:21浏览量:0

简介:本文手把手拆解Transformer的反向传播过程,帮你补齐"前向算完输出之后"的另一半:loss如何一路传回,softmax的雅可比矩阵怎么处理,注意力矩阵与W_Q、W_K、W_V、W_O各自收到什么梯度,以及参数共享为何带来位置上的梯度累加。读完你将能画出完整的梯度流地图,看懂并调试注意力模块的梯度传递。

一、本教程要解决什么问题

大多数人读到的Transformer资料,只讲清了前向传播:输入如何通过 Q、K、V 一步步算出输出。但一个网络之所以能”学习”,靠的是反向传播——loss 算出来之后,梯度如何一路回传,把各个权重矩阵改掉。你之所以卡住,往往不是因为算不出 Q、K、V,而是卡在三个点上:

  • softmax 那一层到底能不能求导?它的梯度长什么样?
  • 注意力矩阵里的梯度怎么往回传?
  • W_Q、W_K、W_V、W_O 各自收到的是什么样的梯度?

本教程的目标,就是把这条梯度流彻底讲透,让你能画出从 loss 到每一个参数矩阵的完整回传路径。

二、适用读者与场景

适合人群:已经理解基础神经网络反向传播(链式法则、如何更新 W 和 b),但读Transformer时仍然”似懂非懂”的开发者与算法学习者;以及需要手撕注意力实现、调试梯度、做训练优化的工程师。

适用场景:手写或调试 self-attention 模块、排查训练不收敛或梯度异常、准备技术面试中的公式推导。

三、前置准备

你不需要新的学习规则。Transformer 没有发明新的数学,用的仍然是同一条链式法则。开始前请确认你掌握以下基础:

  1. 链式法则与雅可比矩阵的基本含义;
  2. 全连接层 y = Wx + b 的反向传播:如何得到 dW、dx;
  3. softmax 函数的定义:s_i = exp(z_i) / Σ exp(z_j);
  4. 矩阵求导中最基础的结论:对 y = XW,有 dW = Xᵀ·(∂L/∂y),其中对序列所有位置的求和自动包含在矩阵乘法里。

四、先画一张参数地图:哪些要学,哪些不学

反向传播的”靶子清单”决定了你在读代码时该盯着谁。一个 Transformer block 里的组件可分两类:

组件 是否有可训练参数 反传时会发生什么
词嵌入 Embedding 有(词表 × d) 只有本批次被用到的那些行收到梯度,其余行不动
W_Q / W_K / W_V 有(各 d×d 矩阵) 梯度来自注意力分支,序列每个位置的贡献在矩阵乘法中累加
W_O 输出投影 有(d×d) 只有一个来源,路径最规整
Q·Kᵀ 缩放 1/√d_k 无(常数) 不改参数,但会按比例缩放向下传的梯度
softmax 无参数 梯度需经过它的雅可比矩阵,这是全篇最难一步
残差连接、LayerNorm、mask 无参数 不参与改权重,但会改变梯度的流向与数值

关键结论先记住:缩放系数、残差、mask、归一化统计量都不含可训练参数,它们不改权重,却会显著改变梯度流。很多人”不懂”,正是因为把注意力全放在参数上,忽略了这些无参数结构对梯度的整形作用。

五、第一步:先把前向路径写成可回传的图

反向传播的前提是前向路径清晰。以单个 self-attention 为例,前向顺序是:

  1. Q = X · W_Q
  2. K = X · W_K
  3. V = X · W_V
  4. scores = (Q · Kᵀ) / √d_k # 缩放
  5. A = softmax(scores) # 注意力权重,按行归一化
  6. O = A · V
  7. out = O · W_O # 输出投影

把这条链记牢。反向传播就是沿着它反着走一遍,每一步都问:”上游给了我一个梯度,我要给这里的输入和参数回传什么?”

六、第二步:攻克 softmax 的梯度(全篇最难处)

第一个心理障碍是”softmax 可导吗?”。答案:可导,但它的雅可比矩阵不是对角的一个数,而是一个稠密方阵。

对 logits 向量 z,输出 s = softmax(z),其雅可比为:

  1. ∂s_i / ∂z_j = s_i · (δ_ij − s_j)
  2. 写成矩阵: J = diag(s) − s · sᵀ

其中 δ_ij 是克罗内克函数(i=j 时为1,否则为0)。这意味着 s 中任意一个分量都依赖 z 中所有分量。

在反向传播中,若上游梯度为 g = ∂L/∂s,则:

  1. ∂L/∂z = Jᵀ · g = s ⊙ g − s · (s · g) = s ⊙ (g − (s · g))

这里的实用技巧非常重要:不需要真的构造 J 矩阵。用上面这个逐元素形式 s ⊙ (g − sum(g⊙s)),只需两次向量运算就能算出 ∂L/∂z,既省内存又高效。这一步理解到位,softmax 的”不可导恐惧”就消失了。

七、第三步:注意力矩阵的梯度如何回传

拿到 softmax 之前的梯度(记作 dS,即 ∂L/∂scores)后,继续往回走。注意缩放系数 1/√d_k 会在这里按比例影响梯度:

  1. scores = (Q · Kᵀ) / √d_k
  2. 所以 dScores = dS / √d_k # 上游梯度被缩放系数缩小

接着拆 Q·Kᵀ 这个乘法。令 dScores 为对 (Q·Kᵀ) 的梯度:

  1. dQ = dScores · K # (seq, d_k) · (d_k, seq)... 维度按具体实现对齐
  2. dK = dScoresᵀ · Q

对 V 这一支,因为 O = A · V:

  1. dV = Aᵀ · dO # dO 是输出对上游的梯度
  2. dA = dO · Vᵀ # 再回传给 softmax,作为上面的 g

至此,注意力内部三条回传路径 dQ、dK、dV 全部拿到。可以看到:dV 直接来自 O = A·V;而 dQ、dK 必须先穿过 softmax 的雅可比,再经过缩放,最后才分到 Q 和 K 上。

八、第四步:W_Q、W_K、W_V、W_O 各自收到的梯度

这是回答”W 收到什么样的梯度”的核心。因为 Q = X·W_Q,对 W_Q 求导:

  1. dW_Q = Xᵀ · dQ
  2. dW_K = Xᵀ · dK
  3. dW_V = Xᵀ · dV
  4. dW_O = Oᵀ · dO # out = O · W_O,注意这里的输入是 O

这里藏着原文提到的”反直觉点一”:参数被矩阵化并被序列所有位置共享。Xᵀ·dQ 这个乘法,内层维度正是序列长度 seq,因此不同位置贡献的梯度在矩阵乘法中自动做了累加。你不需要手写 for 循环去”累加每个位置”,矩阵乘法本身就是累加。理解这一点,很多”为什么梯度要加”的困惑就自然消解了。

此外,别忘了 X 本身也要收梯度(用于回传给更前面的层):

  1. dX = dQ · W_Qᵀ + dK · W_Kᵀ + dV · W_Vᵀ

X 同时喂给三个分支,所以它的梯度是三条路径之和。对应地,只有当前 batch 用到的那些词,其 Embedding 行才会收到梯度,其余行保持不变。

九、通用伪代码:把梯度流串起来

  1. # 前向(已知 Q,K,V,A,O,out 及各中间量)
  2. dS = softmax_jacobian_backward(dA, A) # A⊙(dA - sum(dA⊙A))
  3. dScores = dS / sqrt(d_k) # 缩放系数回传
  4. dQ = dScores @ K
  5. dK = dScores.T @ Q
  6. dV = A.T @ dO
  7. # 参数梯度(矩阵乘法自动完成位置累加)
  8. dW_Q = X.T @ dQ
  9. dW_K = X.T @ dK
  10. dW_V = X.T @ dV
  11. dW_O = O.T @ dO
  12. # 传给前一层的输入梯度
  13. dX = dQ @ W_Q.T + dK @ W_K.T + dV @ W_V.T

十、结果验证:怎么判断你推对了

  • 数值梯度校验:对随机小输入,用有限差分 (L(w+ε)−L(w−ε)) / 2ε 与解析梯度对比,相对误差应足够小;
  • 维度对齐检查:逐行打印每个中间梯度形状,softmax 前后的形状必须一致,dW 的形状必须与 W 一致;
  • 梯度非零性检查:确认每个可训练参数矩阵都收到了非零梯度;若某个矩阵梯度恒为零,通常是路径断链(如 mask 误加、 detached 误用)。

十一、常见问题与排查

  1. 梯度爆炸或消失:先检查缩放 1/√d_k 是否正确应用,再检查残差连接和 LayerNorm 是否到位;
  2. softmax 梯度对不上:多是把 A⊙(dA − sum(dA⊙A)) 里的求和轴写错,务必沿 logits 所在维度求和;
  3. dX 只算了一支:X 供三个分支,漏加 dQ/dK/dV 任一项都会导致前层梯度错误;
  4. W 梯度全相同:警惕无意中复用了同一权重或误共享,导致梯度相互覆盖。

十二、优化与工程建议

  • 显存与效率:手写 softmax 梯度用闭式表达,避免显式构造 N×N 雅可比;大序列下可考虑分块计算;
  • 数值稳定性:softmax 减最大值、LayerNorm 规范化,能显著改善训练稳定性;
  • 可维护性:把每个组件的 forward 与 backward 成对实现并单测,配合梯度校验作为回归测试;
  • 训练落地:若需要弹性扩缩容、训练任务调度与训练日志监控,可借助主流云服务商提供的容器平台、对象存储与监控告警等通用能力来承载,无需自建全部基础设施。

十三、总结

Transformer 并不神秘,它用的是同一条链式法则,只是有三处”反直觉”:参数被矩阵化并在位置上共享、主要非线性来自 softmax 的稠密雅可比、以及大量无参数结构在悄悄整形梯度流。把参数地图看清,再依次攻破 softmax 梯度、注意力矩阵回传、各 W 矩阵的梯度公式,你就能画出完整的梯度流。下一步可以继续深入多头注意力中头维度的拆分与拼接、以及位置编码对梯度的影响。