简介:本文对比 Transformer 的自注意力机制与 RNN、LSTM 等循环网络,从动态性、并行能力、长距离依赖、计算复杂度等维度拆解差异。看似只是"求期望"的加权平均,为何能持续超越传统序列模型?文章将讲清动态建模的本质,并给出不同场景下的选型思路与迁移注意事项。
不少读者在看提出 Transformer 的经典论文时,会有一个很敏锐的直觉:Self-Attention 的核心公式,形式上非常接近离散型随机变量的数学期望——把一组值向量 V,按照经 Softmax 归一化后的一组权重(可以看作概率分布)求加权平均,得到的就是注意力输出。既然本质只是”求期望”,为什么这样一个看似朴素的操作,能全面超越统治序列建模多年的 RNN 与 LSTM,甚至开始冲击视觉领域的卷积网络?
本文对比的对象,是两类序列建模范式:
下面从相同点、核心差异、适用场景、选型建议几个层面展开。
抛开实现细节,两类方案要解决的是同一个问题——为序列中的每个位置生成一个包含上下文的表征。它们的共同点在于:
换句话说,”求期望”这个直觉之所以成立,是因为两种方案在数学骨架上确实有共通之处。真正拉开差距的,是这份”期望”如何被计算出来。
这是全文的关键。原文点破的核心词是”动态”,我在此基础上补充几个建模与工程层面的差异。
1. 静态加权 vs 动态加权
如果只看数学形式,均值池化(Mean Pooling)也是一种加权平均,但它对所有位置一视同仁,权重是固定的。早期的静态词向量技术也存在类似问题:同一个词,无论在”河岸的银行”还是”存钱的银行”里,向量都一样,信息被固化了。
循环网络的隐藏状态虽然会随序列推进而变化,但它的更新被”时间顺序”强约束,每一步只能看到并压缩此前累积的信息,难以对远距离的关键片段做”点对点”的重点关注。
Self-Attention 的权重则完全由输入内容决定:权重 = f(当前 Query,各位置 Key)。也就是说,同一个 token 放在不同句子里,它聚合的上下文、生成的新表征完全不同。这是一种数据驱动的、内容可寻址的动态寻址机制——“求期望”里的权重不是预设的,而是实时算出来的。
2. 并行计算 vs 串行递归
循环网络的计算存在天然的时间步依赖:第 t 步的隐藏状态必须等第 t-1 步算完,无法在序列维度上并行。序列越长,训练和推理越慢,梯度在长链条上反复相乘也更容易衰减或爆炸。
Self-Attention 一次性计算所有位置两两之间的关联,整个序列的注意力可以在矩阵运算中并行完成。这不仅显著提升了硬件利用率,也让梯度能沿更短的路径直接回传。
3. 任意两点的直接连接 vs 线性路径依赖
在循环网络里,首尾两个位置的信息传递需要经过 O(n) 个时间步,距离越远,信息损耗越严重。自注意力中,任意两个位置之间都是一步直达的连接,路径长度近似 O(1),长距离依赖的建模能力因此更强。
4. 计算与内存复杂度
差异并非全是优势。自注意力的时间与空间复杂度约为 O(n²)(n 为序列长度),序列越长,显存与算力开销增长越快;循环网络在序列长度上是线性的 O(n)。这是 Transformer 处理超长序列时的主要瓶颈,也是后续大量”高效注意力”研究要解决的问题。
| 维度 | 循环网络(RNN/LSTM) | 自注意力(Transformer) |
|---|---|---|
| 权重来源 | 时间递归中隐式更新 | 内容驱动的动态计算 |
| 是否动态 | 部分动态,受顺序约束 | 完全数据依赖的动态 |
| 并行性 | 序列维度上串行 | 序列维度上并行 |
| 任意两点路径 | O(n) | 近似 O(1) |
| 复杂度 | 时间 O(n) | 时间/空间 O(n²) |
| 长距离依赖 | 较弱,易衰减 | 较强 |
| 位置信息 | 天然隐含于顺序 | 需额外位置编码 |
| 硬件利用率 | 较低 | 较高 |
从循环网络迁移到自注意力方案时,需重点关注:
回到最初的问题:自注意力的公式确实是”求期望”,看似简单。它真正的强大之处,不在于加权平均本身,而在于把这份期望做成了完全数据驱动的动态过程——权重由内容实时决定,任意位置近似一步可达,序列维度高度并行。正是这三点,让它超越了受顺序约束、信息易损耗的循环网络。当然,这种能力以 O(n²) 的复杂度为代价,是否选用,仍要回到你的序列长度、算力预算和业务诉求上做权衡。理解了”动态”这个内核,你也就理解了这类模型为何强、以及何时该用、何时该谨慎。