简介:本教程从"自注意力输出本质上是对Value的一次数学期望(加权平均)"这一视角切入,带你从零手写Self-Attention的完整计算过程。你将逐步搞懂QKV投影、相似度缩放、Softmax归一化与加权求和每一步的作用,理解"动态、数据依赖"为何让Transformer在长文本与上下文建模上超越静态表征方法,并获得可验证、可调试、可优化的框架无关实现。
本教程要帮你完成一件具体的事:从一个最核心的数学直觉出发——“自注意力的输出本质上是对 Value 向量的一次数学期望(加权平均)”——由浅入深地手写出一段可运行、可验证、可调试的 Self-Attention 计算逻辑。读完并完成本教程后,你应当能够:
动手前你需要具备:
一句话概括:如果你能把”加权平均”和”按概率求期望”看成同一件事,本教程对你几乎没有门槛。
先明确目标公式。给定输入序列的每个 token,先把它投影成三个向量:Query(我想查什么)、Key(这里有什么)、Value(实际携带的内容)。对某个 Query 向量 q,注意力输出定义为:
Attention(q) = Σᵢ softmax(q · kᵢ / √d) · vᵢ
把它和数学期望对照:令权重 αᵢ = softmax(q · kᵢ / √d),显然 Σαᵢ = 1,那么输出就是”以 α 为概率分布、对 value 集合求期望”。这一步只确认目标,不写代码。
为什么先做这一步?因为一旦你看穿”这就是加权平均”,后面所有复杂度都会塌缩成一条清晰主线:动态地算出这组权重 α,再拿它去加权 value。
Q = matmul(X, W_q) # X: [seq_len, d_model] -> Q: [seq_len, d_k]K = matmul(X, W_k) # -> K: [seq_len, d_k]V = matmul(X, W_v) # -> V: [seq_len, d_v]
做什么:把同一份输入映射到”查询/键/值”三个不同的语义子空间。为什么:直接用原始输入算相似度表达能力太弱;分成 Q 与 K 让”查询方”和”被查询方”各自学习关注点,分成 V 让”匹配到之后取什么内容”独立可调。
注意:W_q、W_k、W_v 是三个可学习矩阵;d_k 常取 d_model 或其约数,d_k 过大会导致点积数值偏大(见步骤三)。
scores = matmul(Q, transpose(K)) # [seq_len, seq_len]scores = scores / sqrt(d_k) # 缩放
做什么:Q 与 K 做矩阵乘法,得到任意两个 token 之间的两两相似度打分矩阵,形状为 [seq_len, seq_len]。为什么除以 √d_k:当维度 d_k 较大时,点积方差会随维度线性增长,数值过大会把 Softmax 推入梯度极小的饱和区,训练不稳。缩放把方差拉回可控范围。
注意:此时 scores 还不是概率,只是未归一化的 logits。
alpha = softmax(scores, axis=-1) # 每行和为 1
做什么:对相似度矩阵每一行做 Softmax,得到每个 Query 对所有 Key 的注意力权重。为什么:这一步把任意实数 logits 变成合法概率分布,正是它让”加权平均/数学期望”的解释成立。
注意:数值稳定做法是减去每行最大值再取指数,避免 exp 溢出。
output = matmul(alpha, V) # [seq_len, seq_len] x [seq_len, d_v] = [seq_len, d_v]
做什么:用注意力权重 alpha 对 V 加权求和。这一步就是数学期望的最终落地:每个位置的输出,是它对所有位置 value 按注意力概率求的期望。至此,一个单头 Self-Attention 就完整了。
在步骤四 Softmax 之前,把不该被看到的位置的 score 设成一个极小负数:
scores[被屏蔽位置] = -inf # 再 softmax 时其权重 ≈ 0
做什么/为什么:在自回归生成里,位置 i 不能看到 i 之后的内容,否则会”偷看答案”;在带 padding 的批处理里要屏蔽补位 token。屏蔽点必须放在 Softmax 之前,否则权重已归一化,屏蔽失效。
对每个头 h:head_h = Attention(X·W_q^h, X·W_k^h, X·W_v^h)concat = 拼接所有 head_h # [seq_len, h * d_v]output = matmul(concat, W_o) # 融合回 d_model
做什么:把步骤一到步骤五并行做多组,每组用不同投影矩阵。为什么:单个注意力头只能表达一种”关注模式”,多头让模型同时从多个子空间(语法、指代、语义等)捕捉关系,最后用 W_o 融合。注意:多头通常让 d_k 变小(如 d_model/h),以保持总计算量可控。
以下为常见关键配置项及取值逻辑(通用超参数描述,不绑定任何具体框架):
配置风险:头数与 d_model 不整除会直接报形状错误;dropout 过大导致欠拟合;d_k 过大而忘记缩放会导致训练不收敛。
下面给出把前面所有步骤串起来的完整伪代码:
function self_attention(X, W_q, W_k, W_v, W_o, mask = none):Q = X @ W_qK = X @ W_kV = X @ W_vscores = (Q @ K^T) / sqrt(dim(K))if mask != none:scores = apply_mask(scores, mask) # 屏蔽位置置为 -infalpha = softmax(scores, axis = last) # 每行归一化为概率context = alpha @ V # 对 V 求数学期望return context @ W_ofunction multi_head_attention(X, heads, mask):outputs = []for each head in heads:outputs.append(self_attention(X, head.W_q, head.W_k, head.W_v, head.W_o, mask))return concat(outputs) @ W_o
建议先在小型随机数据上跑通形状,再替换成真实语料。
怎么判断实现是对的:
本教程从”自注意力 = 对 Value 的数学期望”这个直觉出发,一步步手写并验证了 Self-Attention:QKV 投影让查询与内容各自可学,相似度加缩放产出稳定打分,Softmax 把打分变成概率分布,加权求和完成”期望”,mask 与多头分别解决”不能偷看”和”多视角关注”。真正让这套看似简单的加权平均变强的,是它的动态性——权重由当前内容实时算出,因此同一个 token 在不同上下文中能得到完全不同的表征,这正是它超越静态词向量与早期循环结构、并被推广到文本乃至视觉等更广领域的根因。掌握这套实现后,你可以继续深入位置编码、残差与层归一化,以及大模型中的各类注意力变体方向。