简介:本文手把手拆解Transformer的反向传播过程,帮你补齐"前向算完输出之后"的另一半:loss如何一路传回,softmax的雅可比矩阵怎么处理,注意力矩阵与W_Q、W_K、W_V、W_O各自收到什么梯度,以及参数共享为何带来位置上的梯度累加。读完你将能画出完整的梯度流地图,看懂并调试注意力模块的梯度传递。
大多数人读到的Transformer资料,只讲清了前向传播:输入如何通过 Q、K、V 一步步算出输出。但一个网络之所以能”学习”,靠的是反向传播——loss 算出来之后,梯度如何一路回传,把各个权重矩阵改掉。你之所以卡住,往往不是因为算不出 Q、K、V,而是卡在三个点上:
本教程的目标,就是把这条梯度流彻底讲透,让你能画出从 loss 到每一个参数矩阵的完整回传路径。
适合人群:已经理解基础神经网络反向传播(链式法则、如何更新 W 和 b),但读Transformer时仍然”似懂非懂”的开发者与算法学习者;以及需要手撕注意力实现、调试梯度、做训练优化的工程师。
适用场景:手写或调试 self-attention 模块、排查训练不收敛或梯度异常、准备技术面试中的公式推导。
你不需要新的学习规则。Transformer 没有发明新的数学,用的仍然是同一条链式法则。开始前请确认你掌握以下基础:
反向传播的”靶子清单”决定了你在读代码时该盯着谁。一个 Transformer block 里的组件可分两类:
| 组件 | 是否有可训练参数 | 反传时会发生什么 |
|---|---|---|
| 词嵌入 Embedding | 有(词表 × d) | 只有本批次被用到的那些行收到梯度,其余行不动 |
| W_Q / W_K / W_V | 有(各 d×d 矩阵) | 梯度来自注意力分支,序列每个位置的贡献在矩阵乘法中累加 |
| W_O 输出投影 | 有(d×d) | 只有一个来源,路径最规整 |
| Q·Kᵀ 缩放 1/√d_k | 无(常数) | 不改参数,但会按比例缩放向下传的梯度 |
| softmax | 无参数 | 梯度需经过它的雅可比矩阵,这是全篇最难一步 |
| 残差连接、LayerNorm、mask | 无参数 | 不参与改权重,但会改变梯度的流向与数值 |
关键结论先记住:缩放系数、残差、mask、归一化统计量都不含可训练参数,它们不改权重,却会显著改变梯度流。很多人”不懂”,正是因为把注意力全放在参数上,忽略了这些无参数结构对梯度的整形作用。
反向传播的前提是前向路径清晰。以单个 self-attention 为例,前向顺序是:
Q = X · W_QK = X · W_KV = X · W_Vscores = (Q · Kᵀ) / √d_k # 缩放A = softmax(scores) # 注意力权重,按行归一化O = A · Vout = O · W_O # 输出投影
把这条链记牢。反向传播就是沿着它反着走一遍,每一步都问:”上游给了我一个梯度,我要给这里的输入和参数回传什么?”
第一个心理障碍是”softmax 可导吗?”。答案:可导,但它的雅可比矩阵不是对角的一个数,而是一个稠密方阵。
对 logits 向量 z,输出 s = softmax(z),其雅可比为:
∂s_i / ∂z_j = s_i · (δ_ij − s_j)写成矩阵: J = diag(s) − s · sᵀ
其中 δ_ij 是克罗内克函数(i=j 时为1,否则为0)。这意味着 s 中任意一个分量都依赖 z 中所有分量。
在反向传播中,若上游梯度为 g = ∂L/∂s,则:
∂L/∂z = Jᵀ · g = s ⊙ g − s · (s · g) = s ⊙ (g − (s · g))
这里的实用技巧非常重要:不需要真的构造 J 矩阵。用上面这个逐元素形式 s ⊙ (g − sum(g⊙s)),只需两次向量运算就能算出 ∂L/∂z,既省内存又高效。这一步理解到位,softmax 的”不可导恐惧”就消失了。
拿到 softmax 之前的梯度(记作 dS,即 ∂L/∂scores)后,继续往回走。注意缩放系数 1/√d_k 会在这里按比例影响梯度:
scores = (Q · Kᵀ) / √d_k所以 dScores = dS / √d_k # 上游梯度被缩放系数缩小
接着拆 Q·Kᵀ 这个乘法。令 dScores 为对 (Q·Kᵀ) 的梯度:
dQ = dScores · K # (seq, d_k) · (d_k, seq)... 维度按具体实现对齐dK = dScoresᵀ · Q
对 V 这一支,因为 O = A · V:
dV = Aᵀ · dO # dO 是输出对上游的梯度dA = dO · Vᵀ # 再回传给 softmax,作为上面的 g
至此,注意力内部三条回传路径 dQ、dK、dV 全部拿到。可以看到:dV 直接来自 O = A·V;而 dQ、dK 必须先穿过 softmax 的雅可比,再经过缩放,最后才分到 Q 和 K 上。
这是回答”W 收到什么样的梯度”的核心。因为 Q = X·W_Q,对 W_Q 求导:
dW_Q = Xᵀ · dQdW_K = Xᵀ · dKdW_V = Xᵀ · dVdW_O = Oᵀ · dO # out = O · W_O,注意这里的输入是 O
这里藏着原文提到的”反直觉点一”:参数被矩阵化并被序列所有位置共享。Xᵀ·dQ 这个乘法,内层维度正是序列长度 seq,因此不同位置贡献的梯度在矩阵乘法中自动做了累加。你不需要手写 for 循环去”累加每个位置”,矩阵乘法本身就是累加。理解这一点,很多”为什么梯度要加”的困惑就自然消解了。
此外,别忘了 X 本身也要收梯度(用于回传给更前面的层):
dX = dQ · W_Qᵀ + dK · W_Kᵀ + dV · W_Vᵀ
X 同时喂给三个分支,所以它的梯度是三条路径之和。对应地,只有当前 batch 用到的那些词,其 Embedding 行才会收到梯度,其余行保持不变。
# 前向(已知 Q,K,V,A,O,out 及各中间量)dS = softmax_jacobian_backward(dA, A) # A⊙(dA - sum(dA⊙A))dScores = dS / sqrt(d_k) # 缩放系数回传dQ = dScores @ KdK = dScores.T @ QdV = A.T @ dO# 参数梯度(矩阵乘法自动完成位置累加)dW_Q = X.T @ dQdW_K = X.T @ dKdW_V = X.T @ dVdW_O = O.T @ dO# 传给前一层的输入梯度dX = dQ @ W_Q.T + dK @ W_K.T + dV @ W_V.T
(L(w+ε)−L(w−ε)) / 2ε 与解析梯度对比,相对误差应足够小;A⊙(dA − sum(dA⊙A)) 里的求和轴写错,务必沿 logits 所在维度求和;Transformer 并不神秘,它用的是同一条链式法则,只是有三处”反直觉”:参数被矩阵化并在位置上共享、主要非线性来自 softmax 的稠密雅可比、以及大量无参数结构在悄悄整形梯度流。把参数地图看清,再依次攻破 softmax 梯度、注意力矩阵回传、各 W 矩阵的梯度公式,你就能画出完整的梯度流。下一步可以继续深入多头注意力中头维度的拆分与拼接、以及位置编码对梯度的影响。