简介:Transformer 的自注意力机制本身无法感知词元顺序,位置嵌入因此成为必要组件。本文对比可学习绝对位置嵌入、相对位置嵌入与旋转位置编码(RoPE)三类方案,从编码原理、长度外推能力、参数量、与注意力的耦合方式等维度剖析差异,帮助开发者在长文本场景下判断为何传统位置嵌入往往不如 RoPE 有效,并给出条件化的选型建议。
在 Transformer 架构中,自注意力机制对输入序列进行全局交互时,本质上是一个”置换不变”的运算——如果把词元的顺序打乱,仅依靠注意力权重和词嵌入,模型无法区分”猫追狗”和”狗追猫”。位置信息对语义表达至关重要,因此需要额外引入位置嵌入,把词元在序列中的位置或顺序编码进表示中。
随着大模型应用的上下文窗口不断拉长(从数千词元扩展到数万甚至更多),位置嵌入方案在长文本上的表现差异被显著放大。本文对比的三类方案是:
这三者都属于”向模型注入顺序信息”的通用技术手段,但在长文本处理上的表现却有明显区别,值得系统对比。
绝对位置嵌入直接与序列中的特定位置绑定。对输入序列的每个位置,方法都会向对应词元的嵌入向量中添加一个唯一的、与”绝对下标”相关的位置向量。示意性地看,词元 1、2、3 各自拥有一组不同的位置向量,最终与词嵌入逐元素相加,得到送入模型的输入嵌入。
这种方式有两类常见实现:
其共同特点是:位置嵌入在进入注意力层之前就已经与词嵌入相加,位置信息”藏”在输入表示里。
相对位置嵌入关注的是词元之间的距离或相对位置,而非绝对下标。模型学习的是”相距 1 个词元”与”相距 5 个词元”之间的差异,而不是”第 3 个位置”与”第 10 个位置”。由于只依赖相对距离,它在理论上对不同长度序列的适应能力更好,但通常需要修改注意力的计算逻辑,并引入额外的偏置项或参数。
RoPE 不直接给词嵌入加位置向量,而是通过对注意力的查询向量(Q)和键向量(K)施加一个与位置相关的旋转变换来注入位置信息。核心思想是:对向量的每一对维度,按其位置索引旋转一个角度。旋转后,Q 与 K 做内积时,结果只依赖于两者的相对位置差。
示意性伪代码(通用表达):
def apply_rope(x, position):# x: 形如 [..., dim] 的向量# 将偶数维与奇数维两两配对# 按 position * theta_i 对每一对维度做二维旋转for i in range(0, dim, 2):angle = position * theta[i]x_even_new = x[i] * cos(angle) - x[i+1] * sin(angle)x_odd_new = x[i] * sin(angle) + x[i+1] * cos(angle)return x_rotated# Q_rot = apply_rope(Q, pos_q)# K_rot = apply_rope(K, pos_k)# 注意力打分 = Q_rot · K_rot,天然包含 (pos_q - pos_k) 的相对信息
RoPE 不增加额外参数(旋转角度由固定公式决定),且只作用于 Q、K 而不影响值向量 V。
尽管实现方式不同,三类方案在目标层面高度一致:
这一差异是根本性的:前两者需要模型额外”学习”如何分离位置与语义,而 RoPE 通过数学结构直接把相对位置编码进内积,模型不必再花容量去解耦。
这是长文本场景下最关键的差异:
| 维度 | 可学习绝对位置嵌入 | 正弦式绝对位置嵌入 | 相对位置嵌入 | RoPE |
|---|---|---|---|---|
| 注入位置 | 输入端相加 | 输入端相加 | 注意力打分偏置 | Q/K 旋转变换 |
| 建模对象 | 绝对下标 | 绝对下标 | 相对距离 | 相对距离(经内积体现) |
| 长度外推 | 差(固定上限) | 有限 | 较好 | 好(可配合外推技巧) |
| 额外参数 | 有 | 无 | 通常有 | 无 |
| 改造复杂度 | 低 | 低 | 高 | 中低 |
| 位置/语义解耦 | 弱 | 弱 | 中 | 强 |
| 长文本适配 | 弱 | 中 | 中强 | 强 |
从传统绝对位置嵌入迁移到 RoPE 时,需要关注:
绝对位置嵌入、相对位置嵌入与 RoPE 都以注入顺序信息为共同目标,但差异集中在位置信息的注入方式与是否体现相对关系这两点上。可学习绝对位置嵌入把位置与语义在输入端耦合、长度上限固定,因此在长文本上外推乏力;相对位置嵌入通过距离偏置改善泛化,但改造与算力成本较高;RoPE 则以 Q/K 旋转变换让注意力内积天然携带相对位置、无额外参数、易于配合外推技巧,从而在长文本场景下更具优势。选型的正确路径,是回到自身场景的上下文长度需求、外推诉求与工程改造成本,做出条件化的判断,而非一概而论。