简介:从在递归网络中引入注意力,到以自注意力为核心的架构成为主流,两类方案在并行计算能力、表征方式、元学习潜力和先验假设上存在系统性差异。本文从技术架构、性能扩展、表征机制与适用场景等维度展开对比,帮助读者理清核心区别、明确选型依据,并给出迁移与使用中的注意事项。
在序列建模领域,深度学习的演进可以概括为一条清晰的主线:从”顺序递归”走向”全局自注意力”。早期研究将注意力机制引入递归神经网络,让模型在生成目标序列时能够动态”回看”源序列;随后出现的自注意力架构,则在保留注意力的同时彻底去除了按步递归的连接,解决了并行化这一长期瓶颈。
理解这两类方案的区别,不只是学术好奇,它直接关系到技术选型、算力预算、训练周期和工程落地。很多团队在选型时的困惑——为什么长序列任务倾向新架构、为什么小数据量场景旧方案仍有优势、迁移过来要付出什么代价——本质都源于对二者差异理解不足。本文即围绕这一问题展开系统对比。
本文对比的两类对象是:
方案A:递归注意力架构(在递归网络中引入注意力)
递归网络按时间步顺序处理序列,每一步维护一个隐藏状态,逐步”读入”输入并产出结果。在此基础上引入注意力机制后,模型在每一步都能动态计算对源序列各个位置的权重,从而不必把全部历史信息强行压缩进一个固定长度的状态向量。这相当于给模型配了一个可读写的外部记忆结构:它可以在需要时临时”取用”源数据的指定位置,而不是死记硬背。这类结构可以被有效训练,呈现出接近图灵机式的可读可写记忆行为。
方案B:自注意力架构(以自注意力为核心)
自注意力让序列中所有位置两两之间直接建立关联,不再依赖按步传递的隐藏状态。序列本身的结构——token 之间的图关系——被保留并直接暴露给每一层,模型只在需要时通过加权聚合来重组信息。原始 token 序列本身就充当了它的”表征”,只有在给定具体任务情境后,才会被转化为一个经过分层计算、更加抽象的分布式表征。
尽管结构差异明显,两类方案在更底层的目标是高度一致的:
递归方案的本质是按时间步顺序展开,第 t 步依赖第 t-1 步的隐藏状态,因此时间维度上无法并行。序列越长,串行依赖链越长,训练吞吐受限。
自注意力方案去除了步间依赖,序列中所有位置可在同一时间被计算,训练和推理都具备高度并行性。这是新架构算力利用效率跃升的根本原因:在相同硬件上,它能更充分地”燃烧算力”,把昂贵的矩阵运算铺满并行设备。对于大规模预训练这类算力密集场景,这一差异往往是决定性的。
递归方案倾向于在内部维护一个逐步累积、被压缩的状态表征。问题在于,让模型从随机初始化出发,仅靠梯度下降学出一个能对”任意图结构 token 序列”进行有效编码的内部表征,是非常困难的——它需要极强的归纳偏置和海量数据,相当于要求模型自己”顿悟”出一个图编码器。
自注意力方案的巧妙之处在于:与其训练出一个内部图表征,不如让原始的 token 图表征一直保持对模型可见。序列本身即表征,模型无需在内部压缩并重构这份结构,从而跳过了那个昂贵而低效的”表征顿悟”过程,节约了训练算力。这不是放弃先验,而是换了一种先验——它假设”原始 token 图应相对稳定地传递给下一层”。
递归方案在理论上能捕捉长程依赖,但由于信息要沿时间步逐步传递,长距离信号容易在传递中衰减,实际长程建模能力有限。
自注意力方案通过两两直接连接,任意两个位置之间是”一步可达”的,长程依赖建模更直接。代价是它天然对位置不敏感,需要额外注入位置信息(如位置编码)来恢复序列顺序。
递归方案每一步只关注有限状态,单步开销较小,但受串行限制。
自注意力方案的两两计算使计算量随序列长度呈平方级增长,显存占用也随序列长度快速上升。这意味着它在超长序列场景下会面临明显的资源压力,这也是后续大量工作聚焦”高效注意力”的原因。
# 递归方案(伪代码,串行时间步)state = init()for token in sequence: # 时间步串行,难以并行context = attend(state, source) # 动态回看源序列state = update(state, token, context)output = state# 自注意力方案(伪代码,位置并行)X = embed(sequence) + position_encoding(sequence)for layer in layers: # 每层内所有位置并行计算Q, K, V = project(X)A = softmax(Q @ K.T / sqrt(d)) @ V # 两两直接关联X = layer_norm(X + A)output = X
| 对比维度 | 方案A:递归注意力 | 方案B:自注意力 |
|---|---|---|
| 核心结构 | 按步递归 + 注意力 | 全局两两注意力 |
| 并行性 | 时间步串行,难并行 | 高度并行 |
| 算力利用效率 | 受串行限制 | 显著更高 |
| 内部表征 | 压缩式隐藏状态 | 原始 token 图,对模型可见 |
| 长程依赖 | 易衰减,能力有限 | 一步可达,建模直接 |
| 位置敏感性 | 天然具备顺序性 | 需额外位置编码 |
| 复杂度(序列长度 L) | 时间上随 L 线性串行 | 计算/显存随 L 平方增长 |
| 归纳偏置 | 较强(结构内置) | 较弱(更依赖数据与先验假设) |
| 典型优势场景 | 短序列、小数据、流式 | 长序列、大数据、可并行训练 |
选型没有绝对答案,建议围绕以下条件判断:
如果考虑从一种方案迁移到另一种,需重点关注:
回到最初的问题——自注意力架构为何深刻改变了深度学习——答案在于它做对了两件事:一是在注意力机制之上解决了并行计算,让算力利用效率实现跃升;二是重新定义了表征方式,让原始 token 图对模型保持可见,从而绕开了昂贵的内部表征学习。
方案A与方案B的取舍,本质是”并行效率与数据规模”与”结构先验与样本效率”之间的权衡。在算力与数据充足的规模化场景,并行、结构透明的方案更具优势;在资源受限、数据稀缺、强调流式产出的场景,具备较强结构先验的递归注意力方案仍有其价值。理性的做法,是先明确自身在序列长度、算力预算、数据规模和任务形态上的约束,再据此做条件化选型,而非盲目追随主流。