简介:本文以"为什么是这些设计"为主线,系统讲解Transformer的自注意力机制:从点积为何替代加性注意力、为何除以√dk、为何使用三角函数位置编码三个核心问题出发,层层推导每个设计背后的数学约束与工程动机。适合具备基础线性代数与深度学习概念的开发者、算法工程师阅读,帮助你不仅会用注意力,更理解每一处设计选择的原因,为调参与模型优化打下理论基础。
市面上讲解Transformer的文章大多停留在”它怎么工作”的层面:Query、Key、Value是什么、注意力公式长什么样、多头注意力是多视角观察。但几乎没有人回答一个更根本的问题:为什么是这些设计,而不是别的?
本教程将带你完成以下学习目标:
本教程适合以下读者:
阅读前建议具备:基础的线性代数知识(向量、点积、矩阵乘法)、概率统计常识(均值、方差、正态分布),以及对神经网络前向传播的基本概念。无需提前掌握注意力机制的公式细节,本教程会从零推导。
在推导公式之前,先用两个类比建立直觉,这会让后续所有数学步骤都”有画面感”。
传统的循环神经网络处理序列时,信息必须沿着时间步逐层传递:第5个词要想影响第1个词,信息要”排队”经过中间所有词。这就像一群人排成一列传话——排在队尾的人想告诉队首一件事,消息必须逐个口头传递,既慢又容易失真,长距离依赖尤其困难。
自注意力机制换了一种思路:让每个词同时”喊一声”——“谁和我有关?”然后直接建立连接。第1个词和第5个词之间的关联,不需要经过中间3个词中转,而是通过一次矩阵运算直接计算出来。这就是”并行”与”全连接”的直觉来源,也是Transformer能高效处理长序列的根本原因。
记住这两个画面,下面进入正式推导。
自注意力的第一步,是将输入序列中每个词映射为三个向量:Query(查询)、Key(键)、Value(值)。随后执行的核心运算是:用Query矩阵乘以Key矩阵的转置,得到一个n×n的矩阵,其中n是序列长度。这个矩阵第i行第j列的元素,就是第i个词的Query向量和第j个词的Key向量的点积。
这个n×n矩阵非常关键:它的每一行可以理解为一个词对全句所有词的”关注度打分表”。
为什么点积能代表相关性?回忆线性代数中的基本事实:两个向量的点积等于它们的模长相乘再乘以夹角的余弦,即:
点积(Q, K) = |Q| × |K| × cosθ
这与余弦相似度是同一个数学结构。当两个向量方向越接近,夹角θ越小,cosθ越接近1,点积就越大;方向垂直时点积为0;方向相反时点积为负。
在Embedding空间中,语义相近的词,其向量方向经过训练后会自然靠拢。于是链条成立了:
相关性高 → 语义方向接近 → 点积大。
点积(内积)是内积空间中定义”匹配度”最自然的方式,这不是人为选择,而是数学结构的必然。
得到n×n打分矩阵后,每一行会经过softmax转换为概率分布,使其所有元素非负且和为1。再让这个权重矩阵乘以Value矩阵,就完成了”按相关度加权汇总信息”的操作:每个词的新表示,是全句所有词的Value按关注权重混合而成的结果。
在点积注意力流行之前,业界曾广泛使用一种加性注意力:先将Query和Key分别经过线性变换相加,再送入一个激活函数和小型前馈网络,逐对计算匹配分数。
这种方案的效果并不差,但存在一个致命的工程问题:计算方式无法并行展开。
关键差异在于计算组织方式:
研究表明,当Key/Query的维度较小时,两种方案的精度相当,但点积注意力在实践中更快、更省空间,因为它可以直接调用高度优化的矩阵乘法实现。
结论:选点积不是因为精度更高,而是因为精度相当但计算快得多。 这是典型的”数学上等价或近似,工程上大优”的设计选择。这也提醒我们:在评估模型方案时,计算图能否高效映射到硬件,往往和理论精度同等重要。
这是整个Transformer中最容易被忽略、却最不能省掉的一步:不做缩放,模型会直接训练崩溃。
softmax函数对输入的数值范围非常敏感。当输入值很大时,softmax会进入饱和区:最大元素的概率接近1,其余全部接近0,梯度几乎为零,模型无法继续学习。这就是训练崩溃的来源。
而问题在于:当Query和Key的维度较大时,点积天然会产生很大的数值。
假设Query和Key的每个分量独立同分布,均值为0、方差为1。那么点积为:
Q·K = Σ(i=1 to dk) qi × ki
其中每个乘积项qi×ki的均值为0(两个均值为0的独立变量之积)、方差为1(两个方差为1的独立变量之积)。dk个这样的项相加:
原始论文中dk取64,意味着标准差约为8。根据正态分布的经验,数值落到±20甚至更大是常态。这么大的值直接喂给softmax,必然饱和。
解决办法很优雅:将点积除以√dk。这样缩放后的分数标准差就回到了1左右,softmax工作在正常的数值区间,梯度稳定,训练才能进行。
这也是为什么这一操作被称为”缩放点积注意力”——缩放不是可选的增强,而是让点积注意力在理论上方差可控的必要补丁。可以记住一个实用经验:凡是涉及”多个随机项求和”的分数计算,都要警惕方差随项数线性增长的问题,考虑做标准化或缩放。
自注意力有一个隐藏缺陷:它的核心运算是矩阵乘法,而矩阵乘法本身对输入顺序不敏感——把句子中的词打乱顺序,只要Query、Key、Value同步打乱,计算出的注意力分数完全不变。也就是说,裸注意力本质上是一个”词袋”模型,丢失了语序信息。
而语序对语言至关重要,”狗咬人”和”人咬狗”必须由模型区分开。因此必须额外注入位置信息。
一个自然的想法是:像学习词向量一样,给每个位置学一个可训练的向量。这个方案可行(后续很多模型确实采用了这种做法),但原始设计选择了三角函数,原因包括:
位置编码向量的第i维采用不同频率的正弦、余弦交替:
频率随维度指数衰减,使得不同维度以不同尺度刻画位置:低维捕捉细粒度局部差异,高维提供粗粒度全局位置信息。最终位置编码与词向量相加(而非拼接),让位置信息融入语义表示。
学习完成后,可以用以下问题自测,如果能清晰回答,说明理解到位:
问题一:训练初期loss不降甚至发散。
排查方向:检查注意力分数是否做了√dk缩放;检查Query/Key初始化的方差是否过大;位置编码是否遗漏导致模型无法利用语序。
问题二:模型对语序不敏感,语义理解错误。
排查方向:确认位置编码已正确加入输入;确认编码的维度与词向量维度匹配。
问题三:长序列效果差、短序列正常。
排查方向:三角函数位置编码虽然支持外推,但超训练长度时性能仍会退化;这是方法的固有边界,可考虑相对位置类方案。
问题四:注意力矩阵几乎变成单位阵。
说明每个词只关注自己,通常是缩放缺失或训练不稳定的信号。
本教程围绕一个核心问题展开:Transformer的每一个设计——点积注意力、√dk缩放、三角函数位置编码——都不是任意选择,而是被数学约束逼出来的。去掉缩放,softmax饱和导致训练崩溃;去掉位置编码,模型退化为词袋;不用点积,则失去高效的矩阵化计算路径。理解了”为什么”,才能在实践中知道”什么时候可以改、怎么改”。建议后续继续深入多头注意力的分工机制、残差连接与层归一化的稳定化作用,以及注意力复杂度优化等方向。