简介:本文面向开发者和算法入门读者,围绕“模型如何抓重点”完成一次从注意力计算到Transformer结构的最小拆解。读完你将明确Q/K/V、缩放点积、掩码、多头注意力、位置编码、残差与归一化的作用,并能用通用伪代码验证一个注意力模块的输入输出、权重归一化和掩码行为。
本教程要帮助读者完成一个明确任务:从“模型如何判断该重点看哪些字”这个问题出发,拆解注意力机制的核心计算流程,并进一步理解Transformer底座中各个组件为什么存在、如何串起来。
适合阅读本教程的读者包括:
本教程不堆砌复杂公式,而是按照“要做什么、为什么这么做、需要准备什么、具体怎么做、如何验证、如何排查、如何优化”的教程逻辑展开。读完后,你应当能够独立描述一个最小注意力模块的计算链路,并能用通用伪代码检查其行为是否符合预期。
本教程适合以下场景:
开始前建议具备以下基础:
不需要预先掌握复杂推导。你只需要记住一个主线:注意力不是让信息慢慢流过网络,而是在生成每个位置输出时,直接回看输入序列,并根据相关性给不同位置分配权重。
早期的循环神经网络按顺序处理序列:先读第一个词,得到隐藏状态,再带着这个状态读第二个词,一路向后传。它的直觉很像“边读边记”。但问题在于,句子一长,早期信息在传递过程中会被不断稀释。读到后面时,开头词的影响可能已经很弱。这会造成长程依赖丢失,训练中还可能遇到梯度消失或梯度爆炸。
注意力机制换了一种思路:不要求模型把所有历史信息都压缩进一个隐藏状态,而是允许当前输出直接回看所有输入位置,并计算“谁和我现在要找的信息更相关”。
可以用阅读理解类比:答题时,你不会先把整篇文章背下来再凭记忆回答,而是看到问题后翻回原文,找到对应句子。注意力就是给模型配了一双“能随时翻回原文的手”。它的核心动作是:先打分,再归一化,最后按关注度取加权平均。
首先要理解,模型处理的不是汉字本身,而是向量。一个序列经过切分和嵌入后,会变成形状类似“批次大小 × 序列长度 × 隐藏维度”的张量。每个位置都有一个向量表示。
为什么这一步重要?因为后续的Q、K、V都来自这些输入向量。如果输入表示维度混乱,后续矩阵乘法就会出现维度不匹配。注意点:在教程实验中,可以先用小规模随机向量模拟输入,重点验证计算流程,而不是追求真实语义效果。
注意力机制通常不直接拿原始输入向量做点积,而是通过三组线性映射分别得到:
可以把Q/K/V理解成查字典:Q是你要查的词或问题,K是字典条目的索引,V是条目解释。模型用Q和每个K比较相似度,找到相关条目后,再把对应的V按权重取回来。
注意点:Q和K的维度必须一致,才能做点积;V的维度可以与Q/K不同,最终输出维度由V决定。实际结构中,通常会设置模型总维度d_model,并通过线性层映射到Q/K/V空间。
拿到Q和K后,计算Q与所有K的点积,得到每个位置的原始分数。点积越大,表示Q与某个K越相似。随后要除以根号d_k,其中d_k是Q/K的维度。
为什么要缩放?因为维度变大时,点积结果的数值范围容易变得很大。分数过大进入softmax后,会接近one-hot分布,梯度变得很小,训练容易卡住。除以根号d_k相当于把尺度拉回较稳定区间,这是注意力能够稳定训练的重要细节。
注意点:缩放不是可选项。省略缩放可能在小规模实验中看不出问题,但在维度较大或训练深层模型时更容易出现数值不稳定。
掩码用于告诉模型“哪些位置不能看”。常见有两类:
实现上,通常把不允许关注的位置分数加上一个很大的负数,再经过softmax后,这些位置的权重会趋近于0。注意点:不要简单把不允许位置的分数置0,因为softmax后0分仍可能获得非零权重,导致信息泄漏。正确做法是使用负无穷或足够大的负数。
对每一行分数做softmax,得到注意力权重。每一行权重之和为1,表示当前查询在所有可关注位置上的分配比例。
为什么需要归一化?因为后续要做加权平均。权重和为1,输出才是输入V的凸组合式加权结果,数值尺度更稳定。注意点:softmax应沿“键序列长度”维度进行,而不是沿批次或隐藏维度。
用注意力权重乘以V并求和,得到当前查询位置的输出。权重大的位置贡献更多,权重小的位置贡献更少。这就是“谁重要多听谁”的直接体现。
输出形状通常为“批次大小 × 查询序列长度 × V维度”。注意点:如果Q和K的序列长度不同,输出长度跟随Q;如果做自注意力,Q/K/V来自同一序列,长度通常相同。
单个注意力头只能学习一种相关性模式。多头注意力把Q/K/V分别投影到多个子空间,每个头独立计算注意力,最后拼接并再做一次线性映射。
为什么要多头?不同头可以关注不同关系,例如局部搭配、远距离依赖、语法结构等。注意点:头数h必须能整除模型维度d_model,每个头的维度通常为d_model/h。拼接后维度应回到d_model,否则后续残差连接会维度不匹配。
注意力本身对位置不敏感:如果把输入顺序打乱,点积计算结果可能只随内容变化。但语言中词序很重要。因此需要给输入加入位置编码,让模型区分“第几个位置”。
位置编码可以是固定的,也可以是可学习的。注意点:位置编码维度必须与输入嵌入维度一致,才能逐元素相加。对于超长序列,还要关注位置编码外推能力和计算成本。
Transformer块通常包含残差连接和归一化。残差连接让输入绕过子层直接加到输出上,缓解深层网络训练困难;归一化让激活分布更稳定。
注意点:残差连接要求输入输出维度一致,因此多头注意力输出投影后要回到d_model。归一化的位置有不同设计,但核心目标是稳定训练。不要随意省略残差或归一化,否则深层堆叠容易不稳定。
每个Transformer层中,注意力之后通常接一个前馈网络,对每个位置独立进行非线性变换。多个层堆叠后,模型逐步形成更复杂的表示。
注意点:前馈网络通常先升维再降维,中间使用非线性激活。它的参数量可能较大,需要考虑计算和存储成本。
下面给出通用伪代码,不依赖具体框架或品牌工具。重点理解数据流:
function scaled_dot_attention(Q, K, V, mask, d_k):# Q: [batch, seq_q, d_k]# K: [batch, seq_k, d_k]# V: [batch, seq_k, d_v]scores = matmul(Q, transpose(K, last_two_dims)) / sqrt(d_k)# scores: [batch, seq_q, seq_k]if mask is not None:scores = scores + mask # 不允许位置加负无穷或大负数weights = softmax(scores, axis=-1) # 沿键序列维度归一化output = matmul(weights, V) # [batch, seq_q, d_v]return output, weights
多头注意力的通用流程:
function multi_head_attention(X, Wq, Wk, Wv, Wo, h, mask):Q = linear(X, Wq)K = linear(X, Wk)V = linear(X, Wv)split Q, K, V into h heads along d_modelfor each head i:head_output[i], head_weights[i] = scaled_dot_attention(Q_i, K_i, V_i, mask, d_k)concat all head_outputoutput = linear(concat_result, Wo)return output
在实现或阅读注意力模块时,以下配置项最常出现:
配置风险:头数不能整除模型维度、Q/K维度不一致、V维度与输出投影不匹配、掩码使用0而不是负无穷、softmax维度选错,都会导致结果异常或训练失败。
完成最小实现后,建议按以下方式验证:
性能方面,可以关注序列长度增长带来的注意力计算成本,必要时采用分块计算、稀疏注意力、低秩近似等通用思路。稳定性方面,保留缩放、合理初始化、归一化和梯度裁剪。可维护性方面,把Q/K/V投影、掩码构造、多头切分、输出投影拆成独立函数,便于单测。成本控制方面,在实验阶段先用小维度、短序列验证逻辑,再逐步扩大规模。推理阶段可关注自回归生成中历史键值缓存的通用优化,减少重复计算。
本教程围绕“模型如何抓重点”完成了从注意力机制到Transformer底座的拆解。核心链路可以概括为:输入向量经过线性映射得到Q/K/V;用Q和K打分并缩放;按掩码屏蔽不该看的位置;softmax归一化;对V加权求和;再通过多头、位置编码、残差、归一化和前馈网络堆叠成Transformer块。验证时重点看权重是否归一、掩码是否生效、维度是否一致、数值是否稳定。掌握这条主线后,再阅读更复杂的模型结构,就能知道每个组件在“抓重点”这件事上承担了什么角色。