从数学期望到手写Self-Attention实现教程

作者:有好多问题2026.11.18 11:20浏览量:0

简介:本教程从"自注意力输出本质上是对Value的一次数学期望(加权平均)"这一视角切入,带你从零手写Self-Attention的完整计算过程。你将逐步搞懂QKV投影、相似度缩放、Softmax归一化与加权求和每一步的作用,理解"动态、数据依赖"为何让Transformer在长文本与上下文建模上超越静态表征方法,并获得可验证、可调试、可优化的框架无关实现。

从数学期望到手写Self-Attention实现教程

教程目标

本教程要帮你完成一件具体的事:从一个最核心的数学直觉出发——“自注意力的输出本质上是对 Value 向量的一次数学期望(加权平均)”——由浅入深地手写出一段可运行、可验证、可调试的 Self-Attention 计算逻辑。读完并完成本教程后,你应当能够:

  • 说清楚 Self-Attention 每一步张量运算在做什么、为什么这样做;
  • 独立完成从 QKV 投影到加权求和的完整实现;
  • 理解”动态、数据依赖”这个关键点,为什么让 Transformer 在长文本理解、上下文建模上远胜于静态表征方法;
  • 会验证输出正确性,并能定位形状不匹配、数值溢出、梯度异常等常见问题。

适用场景

  • 想真正吃透 Transformer 原理、而不停留在”图看懂了但代码写不出”的开发者与算法工程师;
  • 面试前需要系统梳理注意力梯度流动、位置编码本质的技术读者;
  • 需要为搜索、推荐、问答、文本理解等任务自行实现或改造注意力模块的工程师;
  • 希望用注意力机制替换过时的序列建模方案的技术负责人。

前置准备

动手前你需要具备:

  1. 基础线性代数:知道矩阵乘法、转置、点积代表”相似度”的几何含义;
  2. 基础概率直觉:理解离散型随机变量的数学期望 E[X] = Σ pᵢ·xᵢ,以及 Softmax 能把任意实数向量映射成”和为 1 的概率分布”;
  3. 张量形状(shape)意识:能跟上每个操作前后维度如何变化,这是调通代码的关键;
  4. 一个通用数值计算环境:任何支持矩阵运算与自动求导的通用编程环境即可。本教程代码均以框架无关的伪代码给出,你可自行映射到所用工具。

一句话概括:如果你能把”加权平均”和”按概率求期望”看成同一件事,本教程对你几乎没有门槛。

实施步骤

步骤一:把核心公式写成”数学期望”

先明确目标公式。给定输入序列的每个 token,先把它投影成三个向量:Query(我想查什么)、Key(这里有什么)、Value(实际携带的内容)。对某个 Query 向量 q,注意力输出定义为:

  1. Attention(q) = Σᵢ softmax(q · kᵢ / √d) · vᵢ

把它和数学期望对照:令权重 αᵢ = softmax(q · kᵢ / √d),显然 Σαᵢ = 1,那么输出就是”以 α 为概率分布、对 value 集合求期望”。这一步只确认目标,不写代码。

为什么先做这一步?因为一旦你看穿”这就是加权平均”,后面所有复杂度都会塌缩成一条清晰主线:动态地算出这组权重 α,再拿它去加权 value。

步骤二:实现 QKV 线性投影

  1. Q = matmul(X, W_q) # X: [seq_len, d_model] -> Q: [seq_len, d_k]
  2. K = matmul(X, W_k) # -> K: [seq_len, d_k]
  3. V = matmul(X, W_v) # -> V: [seq_len, d_v]

做什么:把同一份输入映射到”查询/键/值”三个不同的语义子空间。为什么:直接用原始输入算相似度表达能力太弱;分成 Q 与 K 让”查询方”和”被查询方”各自学习关注点,分成 V 让”匹配到之后取什么内容”独立可调。

注意:W_q、W_k、W_v 是三个可学习矩阵;d_k 常取 d_model 或其约数,d_k 过大会导致点积数值偏大(见步骤三)。

步骤三:计算相似度并做缩放

  1. scores = matmul(Q, transpose(K)) # [seq_len, seq_len]
  2. scores = scores / sqrt(d_k) # 缩放

做什么:Q 与 K 做矩阵乘法,得到任意两个 token 之间的两两相似度打分矩阵,形状为 [seq_len, seq_len]。为什么除以 √d_k:当维度 d_k 较大时,点积方差会随维度线性增长,数值过大会把 Softmax 推入梯度极小的饱和区,训练不稳。缩放把方差拉回可控范围。

注意:此时 scores 还不是概率,只是未归一化的 logits。

步骤四:Softmax 归一化成概率分布

  1. alpha = softmax(scores, axis=-1) # 每行和为 1

做什么:对相似度矩阵每一行做 Softmax,得到每个 Query 对所有 Key 的注意力权重。为什么:这一步把任意实数 logits 变成合法概率分布,正是它让”加权平均/数学期望”的解释成立。

注意:数值稳定做法是减去每行最大值再取指数,避免 exp 溢出。

步骤五:加权求和得到输出(真正的”期望”)

  1. output = matmul(alpha, V) # [seq_len, seq_len] x [seq_len, d_v] = [seq_len, d_v]

做什么:用注意力权重 alpha 对 V 加权求和。这一步就是数学期望的最终落地:每个位置的输出,是它对所有位置 value 按注意力概率求的期望。至此,一个单头 Self-Attention 就完整了。

步骤六:按需加入 Mask

在步骤四 Softmax 之前,把不该被看到的位置的 score 设成一个极小负数:

  1. scores[被屏蔽位置] = -inf # 再 softmax 时其权重 ≈ 0

做什么/为什么:在自回归生成里,位置 i 不能看到 i 之后的内容,否则会”偷看答案”;在带 padding 的批处理里要屏蔽补位 token。屏蔽点必须放在 Softmax 之前,否则权重已归一化,屏蔽失效。

步骤七:堆叠多头(Multi-Head)

  1. 对每个头 h:
  2. head_h = Attention(X·W_q^h, X·W_k^h, X·W_v^h)
  3. concat = 拼接所有 head_h # [seq_len, h * d_v]
  4. output = matmul(concat, W_o) # 融合回 d_model

做什么:把步骤一到步骤五并行做多组,每组用不同投影矩阵。为什么:单个注意力头只能表达一种”关注模式”,多头让模型同时从多个子空间(语法、指代、语义等)捕捉关系,最后用 W_o 融合。注意:多头通常让 d_k 变小(如 d_model/h),以保持总计算量可控。

配置说明

以下为常见关键配置项及取值逻辑(通用超参数描述,不绑定任何具体框架):

  • d_model:模型隐藏维度,越大表达力越强、算力与显存开销越高;常用 64、128、256、512 等。
  • 头数 h:需能整除 d_model;头数多则每头更”专注”但维度更小。
  • d_k / d_v:单头维度,一般取 d_model/h,兼顾表达与效率。
  • 缩放因子 √d_k:默认开启以稳定训练,几乎不需要关闭。
  • dropout 比例:对注意力权重或输出随机丢弃,缓解过拟合,常用 0 到 0.1 之间。

配置风险:头数与 d_model 不整除会直接报形状错误;dropout 过大导致欠拟合;d_k 过大而忘记缩放会导致训练不收敛。

示例说明

下面给出把前面所有步骤串起来的完整伪代码:

  1. function self_attention(X, W_q, W_k, W_v, W_o, mask = none):
  2. Q = X @ W_q
  3. K = X @ W_k
  4. V = X @ W_v
  5. scores = (Q @ K^T) / sqrt(dim(K))
  6. if mask != none:
  7. scores = apply_mask(scores, mask) # 屏蔽位置置为 -inf
  8. alpha = softmax(scores, axis = last) # 每行归一化为概率
  9. context = alpha @ V # 对 V 求数学期望
  10. return context @ W_o
  11. function multi_head_attention(X, heads, mask):
  12. outputs = []
  13. for each head in heads:
  14. outputs.append(self_attention(X, head.W_q, head.W_k, head.W_v, head.W_o, mask))
  15. return concat(outputs) @ W_o

建议先在小型随机数据上跑通形状,再替换成真实语料。

结果验证

怎么判断实现是对的:

  1. 形状校验:单头输出应为 [seq_len, d_v],多头融合后应为 [seq_len, d_model];对不上说明某个投影或拼接有误。
  2. 权重合理性:打印 alpha 某一行,其元素之和应 ≈ 1 且非负——这是”它是否构成合法概率分布”的直接证据。
  3. 边界行为:mask 之后,被屏蔽位置对应的 alpha 权重应 ≈ 0。
  4. Sanity check:构造极端 case(如令 V 为单位阵、K 与 Q 同源)观察输出是否退化为对 query 自身的选择,确认寻址逻辑生效。
  5. 端到端:接入一个简单下游任务(如句子分类或语言建模),loss 能稳定下降即说明梯度在正确流动。

常见问题与排查

  • 形状不匹配(最常见):多为 K 未转置、拼接维度顺序错误、头数未整除 d_model。逐行打印每个中间张量的 shape 定位。
  • Softmax 后全是 NaN:几乎都是 scores 数值过大导致 exp 溢出,务必先缩放再减去每行最大值。
  • 所有 token 注意力权重几乎均匀:可能是 d_k 过大未缩放,或 mask 写错没生效,导致模型学不到区分度。
  • 梯度消失/不训练:检查是否卡在 Softmax 饱和区(缩放是否正确),以及 d_v/d_k 是否失衡。
  • mask 失效:屏蔽点被放到了 Softmax 之后,权重已归一化,屏蔽不再起作用——把它移到 Softmax 之前。

优化建议

  • 计算优化:注意力对 scores 是 O(seq_len²) 的显存与时间开销,长序列场景可考虑分块、稀疏注意力或线性注意力等通用思路来降复杂度。
  • 数值稳定:始终保留缩放与”减最大值”的 softmax 稳定技巧,训练大模型时尤其重要。
  • 工程化:把投影、缩放、mask、多头拆成独立可测试的小函数,便于定位问题。
  • 可维护性:为每个超参数(d_model、头数、d_k、dropout)加注释说明取值理由,避免后期误调。
  • 生产环境:模型服务化时关注批处理吞吐、显存占用与延迟,可结合通用的负载均衡、监控告警、日志服务等云上通用能力做灰度发布与可观测。

总结

本教程从”自注意力 = 对 Value 的数学期望”这个直觉出发,一步步手写并验证了 Self-Attention:QKV 投影让查询与内容各自可学,相似度加缩放产出稳定打分,Softmax 把打分变成概率分布,加权求和完成”期望”,mask 与多头分别解决”不能偷看”和”多视角关注”。真正让这套看似简单的加权平均变强的,是它的动态性——权重由当前内容实时算出,因此同一个 token 在不同上下文中能得到完全不同的表征,这正是它超越静态词向量与早期循环结构、并被推广到文本乃至视觉等更广领域的根因。掌握这套实现后,你可以继续深入位置编码、残差与层归一化,以及大模型中的各类注意力变体方向。