简介:本教程帮助开发者和技术读者理解注意力机制的工作方式,包括查询、键、值三者的分工,缩放点积注意力的四步计算流程,以及缩放因子存在的原因。读完后,你能用伪代码实现单头注意力,验证输出是否正确,并排查常见的数值和梯度问题,为进一步学习多头注意力和Transformer结构打下基础。
本教程要完成的任务是:理解注意力机制为什么有效,掌握缩放点积注意力的计算链路,并能够独立写出一个可运行、可验证的单头注意力模块。
完成后,你应当能做到以下几点:说清楚查询(query)、键(key)、值(value)各自的作用;按顺序写出从打分到加权求和的每一步;解释除以根号d_k的原因;用简单输入检查计算结果是否符合预期;遇到输出异常时,能定位是形状、归一化方向还是数值溢出导致的问题。
适合阅读本教程的人包括:
典型场景包括:自然语言处理模型的二次开发、序列建模任务的结构选型、模型推理性能分析,以及面向新人的内部技术培训。
需要具备以下基础:
本教程使用随机生成的小规模张量作为输入,例如序列长度为4、特征维度为8的矩阵。这样可以逐个数值地检查计算过程,不依赖真实语料。
传统RNN按时间顺序逐个处理词元,每一步的隐藏状态都要携带之前全部的信息。序列变长后,早期信息经过多次变换会逐渐衰减,这就是长程依赖丢失。训练时,反向传播经过很多时间步,梯度也容易趋近于零或爆炸。
注意力机制换了一种思路。模型在生成某个输出位置时,直接访问所有输入位置,并根据相关性分配权重。相关的位置获得较大权重,不相关的位置权重接近零。信息不再依赖一条长链路逐级传递,而是按需读取。
可以把它理解为阅读理解:先看问题,再回到原文找对应段落,而不是先背下全文。
查询表示当前位置“想找什么”。在计算时,每个输出位置都会生成一个查询向量。
键表示每个输入位置“自己提供什么索引信息”。查询和键做相似度比较,决定关注程度。
值表示每个输入位置“真正携带的内容”。得到权重之后,模型用权重对值做加权平均,得到输出。
三者的关系是:用查询与键匹配,用匹配结果决定权重,再用权重聚合值。键和值通常来自同一组输入的不同线性变换,因此它们可以分别学习“如何被找到”和“被找到后传递什么”。
设查询矩阵为Q,键矩阵为K,值矩阵为V,键向量的维度为d_k。计算过程如下。
对Q与K的转置做矩阵乘法,得到每对查询与键之间的点积。点积越大,说明两者越相关。
将分数除以根号d_k。原因在于,当维度较大时,点积的方差随d_k线性增长,分数的绝对值变大,softmax容易进入饱和区,输出接近one-hot,梯度接近零。除以根号d_k能把分数的方差拉回约为1的范围,使训练稳定。
对每一行分数做softmax,得到一组和为1的非负权重。每一行对应一个查询位置,表示它对所有输入位置的关注分布。
用权重矩阵乘以V,得到每个位置的输出。输出的形状与查询的位置数相同,特征维度与V一致。
整个过程可以概括为:先打分,再归一,最后按关注度取平均。
下面的伪代码只表达计算逻辑,可以翻译成任何深度学习框架或数值计算库的写法。
function scaled_dot_product_attention(Q, K, V, mask = None):d_k = size of last dimension of Kscores = matmul(Q, transpose(K)) / sqrt(d_k)if mask is not None:scores = where(mask == 0, -infinity, scores)weights = softmax(scores, axis = -1)output = matmul(weights, V)return output, weights
单头注意力的主要配置项如下。
配置风险:如果把mask填入0而不是负无穷,被屏蔽的位置仍会获得权重;如果某一行全部被屏蔽,softmax会得到NaN。
验证分为三层,建议依次完成。
输出形状应为(序列长度_q, d_v)。权重矩阵的形状应为(序列长度_q, 序列长度_k)。
用随机标准正态分布生成Q和K,分别在有无缩放的情况下计算分数的标准差。未缩放时,标准差随d_k增大而增大;缩放后,标准差应大致保持在1附近。这个实验能直观说明缩放因子的作用。
可能原因:某一行全部被屏蔽;或者分数数值溢出。
排查思路:检查mask是否存在整行为真的情况;在softmax前对每行减去最大值,提升数值稳定性;缩小输入幅度再观察。
可能原因:softmax的归一化维度写错。
排查思路:确认softmax作用在键的维度上,而不是查询的维度上。
可能原因:权重接近均匀分布,说明分数差异过小;或者输入本身缺乏区分度。
排查思路:检查Q和K的初始化尺度;确认线性变换后的特征是否有区分度;观察分数矩阵的方差。
可能原因:分数饱和,softmax进入平坦区域。
排查思路:确认缩放因子已正确应用;检查输入的数值范围;必要时调整初始化。
可能原因:Q与K的特征维度不一致,或批量维度的位置放错。
排查思路:在函数入口打印各张量形状,逐一核对。
本教程从RNN的长程依赖问题出发,讲解了注意力机制的核心思想,拆解了缩放点积注意力的四步计算,并给出了伪代码、配置说明、验证方法和常见问题排查思路。
关键要点有三个:查询、键、值的分工是理解注意力的基础;除以根号d_k是保证训练稳定的关键;softmax的归一化方向和屏蔽方式是实现中最容易出错的地方。
完成单头注意力之后,可以继续学习多头注意力如何并行地从多个子空间关注信息,再了解位置编码与前馈网络如何与注意力组合成完整的Transformer模块。