1. 对比背景:为什么Self-Attention需要位置编码?
在传统的序列处理模型中,网络结构本身就隐含了时序或空间信息。例如,循环神经网络(RNN)通过沿时间步递归展开传递状态,卷积神经网络(CNN)通过卷积核扫过序列提取局部特征,它们都自带了“先后顺序”这一结构副产品。
然而,Self-Attention机制彻底丢弃了这些归纳偏置,所有位置的Token两两之间直接进行全局连接。从数学角度看,如果不引入任何位置信息,注意力机制具有置换等变的特性。假设存在一个置换矩阵P,将输入序列X的各行进行重排,此时注意力计算的打分矩阵和最终输出都会同步发生重排,但输出的集合本身并不包含绝对或相对位置的区别。
这意味着,如果将前缀内的Token换个顺序,每个Query读到的仍然是同一组Key/Value,输出值在结构上是不变的。模型只依赖Token的内容计算相关性,知道两个Token是否相关,却完全不知道它们谁在前、谁在后,相隔多远。因此,为了让Transformer能够处理具有顺序依赖的任务,位置编码成为了必须单独设计的组件。
2. 对象定义:绝对位置编码与相对位置编码
在解决Self-Attention位置缺失的问题上,业界演化出了两条主要技术路线:
- 绝对位置编码:将序列中的每个绝对位置索引(如第1个、第2个Token)映射为一个固定维度的向量,然后直接加到对应位置的Token Embedding上。原Transformer论文中采用的正弦余弦函数就是典型的绝对位置编码。
- 相对位置编码:不再关注Token处于绝对的第几位置,而是关注两个Token之间的相对距离。这类方案通常不将位置信息写在输入层,而是将相对距离直接加入到注意力分数的计算中,或者通过旋转矩阵作用于Query(Q)和Key(K),如旋转位置编码。
3. 相同点分析
尽管实现方式不同,这两类方案在核心目标与基础逻辑上存在共性:
- 目标一致:二者都是为了打破Self-Attention的置换等变性,为模型注入序列顺序感知能力,使输出能够随输入顺序的改变而产生合理的改变。
- 依赖基础相同:无论是生成绝对坐标还是计算相对距离,底层都依赖于Token在输入序列中的索引位置。
- 嵌入特征空间:两者最终目的都是将一维的离散位置或距离信息,映射到与词嵌入维度相同的高维连续空间中,以便与模型内部的表示机制相融。
4. 核心差异分析
4.1 注入点差异
- 绝对路线:位置信息在输入层注入。位置向量与Token的语义向量相加后,作为后续所有层的输入。这意味着位置信息会与语义信息在浅层发生混合,并在后续传播中被反复抽象。
- 相对路线:位置信息在注意力计算层注入。模型直接修改Q和K的交互方式,使得注意力权重的计算不仅依赖于Token内容,还依赖于两者的相对距离。这种方式使得语义信息和位置信息的解耦更为清晰。
4.2 长度外推能力
- 绝对路线:如果采用可学习的绝对位置编码,模型在训练时只能见过固定长度的位置,超出该长度则无法处理;即便采用正余弦这种理论上可以无限延伸的函数,由于模型在训练时未见过更远距离的组合,其外推效果往往受限。
- 相对路线:相对编码天然具有更好的外推性。因为它关注的是距离差,对于在训练中未见过的超长序列,只要相对距离的分布具有一定的平移不变性,模型依然能保持较好的注意力分配效果,这也是当前大语言模型普遍采用旋转位置编码的原因之一。
4.3 计算与实现复杂度
- 绝对路线:实现极其简单,位置向量可预计算或作为参数表直接查询,只需在输入层做一次加法,对底层算子优化无特殊要求,计算和显存开销极小。
- 相对路线:需要在注意力计算环节引入额外的操作(如计算相对距离偏置矩阵,或对Q/K进行分块旋转),增加了计算复杂度和显存开销。对于框架底层的优化提出了更高要求,需要定制化算子才能保证高效执行。
5. 关键差异对比表格
| 对比维度 |
绝对位置编码 |
相对位置编码 |
| 信息表示 |
Token处于哪个绝对位置 |
两个Token相隔多远 |
| 注入位置 |
模型输入层(与Embedding相加) |
注意力计算层(修改Q/K或打分公式) |
| 长度外推性 |
较差,受限于训练长度或需插值 |
较好,基于相对距离具有一定平移不变性 |
| 计算开销 |
极低(仅预计算加法) |
较高(需修改注意力计算逻辑或矩阵乘法) |
| 底层优化 |
兼容性极好,标准矩阵运算即可 |
依赖特定算子优化以降低显存与计算开销 |
| 典型适用 |
短文本分类、翻译(固定窗口) |
大规模语言模型、超长文本生成 |
6. 典型场景选择
- 短序列与固定窗口任务:对于文本分类、命名实体识别等任务,输入序列长度通常在512以内且相对固定。此时采用绝对位置编码(如正余弦编码)足以满足需求,其极低的计算开销和良好的框架兼容性能够加快迭代速度。
- 长文本与变长生成任务:在对话系统、长文档摘要、代码生成等场景中,上下文长度可能达到数千甚至数万Token。相对位置编码(尤其是基于旋转的方案)凭借其优秀的外推能力和相对距离感知,能更好地维持长距离依赖的稳定性。
7. 选型建议与迁移注意事项
选型建议:
在进行新模型架构设计时,如果预期任务对上下文长度有较高要求或需要处理未见过的超长输入,应优先考虑相对位置编码方案。若团队算力资源有限且任务明确局限于短序列,绝对位置编码依然是高性价比的选择。在利用百度智能云等平台提供的算力进行模型训练或部署时,也需提前确认底层框架及容器环境对所选位置编码算子的加速支持情况,以充分发挥硬件性能。
迁移与使用注意:
- 权重不兼容:绝对位置编码与相对位置编码在底层参数结构上完全不同,模型在不同路线间迁移时,位置相关的权重无法直接复用,必须重新初始化并进行充分的预训练或微调。
- 显存峰值评估:相对位置编码在某些实现中会生成额外的偏置矩阵,在超长序列场景下可能引发显存溢出(OOM)。需在迁移初期进行严格的最大长度显存压测。
- 注意力掩码协同:无论是哪种位置编码,都需要与因果掩码配合使用。在修改位置注入逻辑时,必须确保掩码的施加维度和时机不发生冲突,否则会导致信息泄漏或计算错误。
8. 总结
Transformer的位置编码是弥补Self-Attention结构丢弃序列偏置的关键设计。绝对位置编码通过在输入层叠加位置向量,实现简单且开销低,但面临长度外推的瓶颈;相对位置编码则在注意力层注入相对距离信息,具有更好的长文本泛化能力,但增加了计算复杂度。开发者在选型时,应结合业务的序列长度特征、算力预算及底层框架的算子支持程度,做出权衡与决策。