简介:本文对比 Transformer 架构中两种核心注意力机制——自注意力(Self-Attention)与交叉注意力(Cross-Attention)。二者共享同一套 Q/K/V 计算骨架,却在信息来源、序列关系与掩码策略上存在本质差异。文章从原理出发,系统剖析相同点、核心差异、计算复杂度与适用场景,并延伸到单头与多头的取舍,帮助读者理解"区别在哪、如何选择"。
Transformer 之所以能在自然语言处理、代码生成、多模态理解等任务中取得突破,核心并不在于”让词彼此看一眼”这种朴素描述,而在于它提供了一套可被数学严格刻画的加权信息读取机制。而在这套机制内部,其实存在两条实现路径:一条是序列内部的信息交换(自注意力),另一条是跨序列的信息查询(交叉注意力)。
很多工程问题——比如为什么解码器能够”看到”输入原文、为什么编码器-解码器结构在翻译任务里有效、为什么模型参数量和显存开销在不同模块里差别巨大——本质上都能追溯到这两种注意力在 Q/K/V 来源上的不同。因此,把它们放在一起对比,不仅有助于理解 Transformer 的内部逻辑,也直接影响架构设计、算力规划与推理成本评估。
本文明确对比对象为:自注意力与交叉注意力,并以二者的通用数学定义与实现方式为准,不绑定任何具体厂商实现。
设一段序列共有 n 个 Token,每个 Token 的嵌入维度为 d,按行排成输入矩阵 X(n×d)。自注意力不直接对 X 两两比较,而是通过三组训练得到的投影矩阵生成:
在自注意力中,Q、K、V 都来自同一个 X,但投影矩阵 W_Q、W_K、W_V 不同,因此三者并非同一组向量。它解决的核心问题是:同一段序列内部,不同位置之间如何相互参考、相互补充上下文。
交叉注意力沿用了完全相同的计算骨架,但Q 来自一段序列(例如解码器当前状态),K、V 来自另一段序列(例如编码器的输出)。它解决的核心问题是:解码端在生成内容时,如何主动”查询”输入端的表示。这正是编码器-解码器结构能够”查询输入信息”的数学根源。
两者都用同一套公式:
Attention(Q, K, V) = softmax(Q·Kᵀ / √d_k) · V
其中 d_k 是 Key 的维度。由此得到注意力矩阵 A,而真正的输出 O = A·V。这是理解注意力时最重要的区分:A 是读取权重,O 才是更新后的 Token 表示。权重为便于说明可以人工构造,但真实模型中的权重由训练数据与参数共同决定。
尽管用途不同,二者在底层逻辑上高度一致:
| 对比维度 | 自注意力(Self-Attention) | 交叉注意力(Cross-Attention) |
|---|---|---|
| Q 的来源 | 与 K、V 同为序列 X | 来自另一路序列(如解码器状态) |
| K、V 的来源 | 序列 X 自身 | 另一路序列(如编码器输出) |
| 信息流向 | 序列内部各位置互相参考 | 一个序列查询另一个序列 |
| 序列长度关系 | 通常 Q、K、V 长度相同(n×n) | 两序列长度可不同(n×m) |
| 典型位置 | 编码器每层、解码器每层 | 解码器与编码器之间的连接层 |
| 掩码策略 | 解码器需因果掩码防止”偷看未来” | 通常只需屏蔽 padding,无需因果约束 |
| 计算量特征 | 随序列长度平方增长 | 随两序列长度乘积增长 |
| 核心作用 | 构建上下文表示 | 实现跨序列对齐与信息注入 |
为什么除以 √d_k:当 Key 维度 d_k 较大时,点积的方差会随维度上升而增大,数值过大的分数会把 Softmax 推向饱和区,使梯度趋近于零。除以 √d_k 是一种缩放手段,让分数分布更稳定,训练更平稳。这一处理在两种注意力中都成立,但自注意力因序列长、易出现极端分数,对缩放尤为敏感。
为什么需要掩码:自注意力在解码器场景下必须引入因果掩码,把每个位置右侧(未来)的分数置为负无穷,保证生成过程只能依赖已出现的 Token;而交叉注意力的 Query 与 Key 来自不同序列,不存在”未来泄露”问题,掩码主要用于屏蔽填充位置。这是二者在工程实现中最容易被忽视、却影响正确性的差异点。
无论是自注意力还是交叉注意力,实践中几乎都不是单头,而是多头注意力:把 Q、K、V 投影成 h 组不同子空间,各自独立计算注意力,再拼接后做一次线性投影。对比单头可以看出:
因此,多头更像是对单头的一种增强,而非替代,选型时需结合模型规模与硬件预算判断。
选型不应绝对化,而应条件化判断:
在从一种结构切换或组合使用时,需注意:
自注意力与交叉注意力共享同一套 Q/K/V 数学骨架,区别集中在信息来源与序列关系:前者在序列内部构建上下文,后者在两个序列之间做查询注入。理解 A(权重)与 O(输出)的区别、掌握 √d_k 缩放与掩码的作用,是判断这两种机制何时使用、如何组合的关键。实际工程中,可依据任务是否为”单序列建模”或”跨序列对齐”来选择,并综合序列长度、算力预算与掩码正确性做出条件化决策,而非套用绝对化的结论。