简介：本文系统梳理了以自回归解码器为核心的经典Transformer体系，以及线性注意力混合架构等替代方案的技术原理、演进逻辑与适用边界。通过对比不同架构在效率、建模能力与扩展性上的取舍，帮助读者理解当前大模型技术路线的全貌，厘清“Transformer是否已到极限”这一关键问题，并为技术选型与未来研究方向提供参考。
当前主流的大语言模型，无论是开源还是闭源，其底层结构大多可以追溯到同一个思想源头——基于多头注意力机制的自回归解码器架构。从早期的开创性工作到如今千亿级参数的巨型模型，这一架构在文本生成、代码理解、逻辑推理等任务上展现出了惊人的能力，几乎成了“大模型”的代名词。
但与此同时，关于其天花板的讨论也从未停止。注意力机制的计算复杂度随序列长度呈二次增长，这限制了模型处理超长上下文的能力；自回归的逐token生成方式也被认为在推理效率和结构建模上存在天然瓶颈。于是，一系列替代性或混合性架构开始涌现——有的试图用线性复杂度的注意力近似来换取更长的上下文窗口，有的则尝试改变token的生成范式，引入扩散或迭代精炼的思想。这些探索指向同一个终极问题：如果通用人工智能（AGI）真的可行，那么它是否只能建立在Transformer这一条技术路线上？
要讨论“天花板”，首先需要明确讨论的对象是什么。本文所称的“Transformer基座模型”，指的是以《Attention Is All You Need》所提出的编码器-解码器框架为基础，或在后续发展中演化为仅包含解码器（Decoder-only）风格的大规模自回归语言模型。这类模型的核心组件是多头自注意力机制与前馈神经网络的堆叠，辅以残差连接与层归一化。
这类模型的工作方式可以概括为：给定一段文本序列，模型通过自注意力机制计算序列中任意两个位置之间的关联权重，从而捕捉长距离依赖。在训练阶段，模型根据前文预测下一个token；在推理阶段，模型将已经生成的token作为输入，不断迭代地生成下一个token，直到产出完整结果。这一范式被称为“自回归解码”。
从使用角度看，这类模型经过预训练与微调后，可以完成文本分类、问答、摘要、翻译、代码生成等任务。由于其训练范式统一、扩展规律清晰，它成为了当前工业界与学术界投入最多、应用最广的基座模型类型。
Transformer架构能够成为主流，并非偶然。相比早期的循环神经网络（RNN），它彻底摆脱了顺序计算的限制，能够并行处理序列中的所有位置，极大提升了训练效率；相比卷积神经网络（CNN），它在捕捉长距离依赖和多层次语义关系上更具优势。这些特性使得模型能够通过海量数据和超大规模参数持续扩展，带来持续的能力提升，也就是业内的“规模效应”。
然而，这种成功也带来了隐忧。首先，注意力机制的时间与空间复杂度均为序列长度的平方级，当输入序列从几千扩展到几十万甚至上百万token时，计算开销和显存占用将变得难以承受。其次，自回归生成方式天然是串行的，每一步都必须等待上一步的输出，这使得推理延迟居高不下。更重要的是，有研究者质疑，仅仅依靠自回归式的“预测下一个词”，是否足以让模型具备真正的规划、反思和因果理解能力，抑或只是对海量文本的统计模仿。
这些疑问催生了对替代架构的探索。它们并不一定是对Transformer的否定，而更多是试图在特定维度上突破其限制，或与其组成混合结构，以寻求更优的性能-效率平衡。
要理解替代架构，首先要理解Transformer中可以被“替换”的关键部件是什么。
多头注意力机制让模型能够从不同的表示子空间中并行地提取信息，每个头可以关注序列的不同部分。这种机制极大地增强了模型的表达能力，是Transformer成功的基石。但它的本质是计算两两token之间的相似度矩阵，因此当序列变长时，矩阵规模会以平方级增长，这是其效率瓶颈的根本来源。
线性注意力混合架构的出发点是：能否用近似的方式，将注意力计算的复杂度从平方级降为线性级？其核心思路是借助核函数或矩阵分解等数学手段，将注意力分数矩阵分解为两个低秩矩阵的乘积，从而避免显式地构建庞大的注意力矩阵。
这类架构的典型做法是，在模型的不同层或不同头中，混合使用标准注意力与线性注意力。标准注意力负责捕捉精细的长距离依赖，线性注意力则负责处理大规模序列的全局信息，从而在不显著损失性能的前提下大幅延长可处理的上下文长度。
从工程角度看，这类混合架构带来的是实实在在的收益：能够处理几十万甚至上百万token的文本；训练和推理时的显存占用更小；在长文本检索与推理任务上表现出更强的竞争力。但它的挑战同样存在——线性近似的准确性并非在所有任务上都能与标准注意力持平，特别是在需要精确对齐位置的细粒度任务上，仍需谨慎评估。
另一类更有颠覆性的替代方案，尝试改变“一个token接一个token地生成”这一范式。扩散模型最初在图像生成领域取得了巨大成功，其思想是：从纯噪声开始，通过多步去噪逐渐恢复出清晰图像。这一思路也被尝试移植到文本领域。
在这类文本扩散架构中，模型不再逐token生成，而是在迭代过程中逐步修正和完善一段文本的整体表示。例如，首先生成一个粗糙的、带有噪声的序列，然后通过多轮精炼逐步将其“去噪”为语法正确、语义连贯的文本。这种并行化的生成方式，理论上能够将生成速度提升数个数量级，同时可能带来更全局的语义规划能力。
不过，文本与图像的本质差异在于：图像可以连续地“模糊”和“清晰化”，而文本是离散的符号序列，难以构造自然的连续噪声过程。因此，文本扩散模型目前在控制生成质量、保证事实一致性方面仍面临较大挑战，尚处于早期探索阶段。
自回归解码器的工作原理可以类比于一个人在写长篇小说，每写下一个字，都必须基于之前写下的所有内容，同时预测下一个最合适的字。模型的每一步都依赖前一步输出，不可并行。这种方式的优点在于，每一步都考虑了完整的历史信息，生成的文本流畅度和一致性很高。缺点则是速度受限，且在长文本生成中，早期的微小的误差可能在后文中被不断累积放大。
线性注意力混合架构的核心，是在矩阵运算层面做文章。它试图将“每个位置与所有位置进行一一比较”的操作，替换为“先对所有位置做一个全局的压缩和摘要，再让每个位置去查询这个摘要”。这样做避免了平方级的计算量，让模型能够更高效地处理极长序列。简而言之，它牺牲了一部分精确的逐点交互，换来了对全局上下文更广的覆盖。
文本扩散模型更像是一个雕刻家，先拿一块粗坯（随机噪声序列），然后不断打磨、修正，逐渐显现出文字和语义。在这个过程中，所有位置的信息是同步更新、相互协调的，而不是逐字决定的。这赋予了模型更自由的全局规划和纠错能力，但如何定义一个合理的“文本噪声”以及如何保证迭代过程的稳定性，仍是待解的技术难题。
在实际工程决策中，不同的架构选择往往对应着不同的业务诉求：
在实际讨论中，以下几个概念容易被混淆：
因此，与其说这些替代架构是Transformer的“敌人”，不如将它们视作一种“延展工具箱”。在很长一段时间内，混合形态将是主流——即在Transformer的骨架中嵌入更高效的注意力模块或新的生成机制，来应对不同场景下的独特挑战。
无论是采用何种架构，在实际落地时需关注以下几点：
回到最初的问题：自回归Transformer架构是否触及了天花板？从当前研究进展来看，它在通用文本处理能力和扩展规律性上依然拥有显著优势，远未到被全面替代的地步。但它的效率瓶颈和生成范式的局限，注定了它并非最终形态。
未来的技术路线更可能的图景是：Transformer作为基础的骨架和语义引擎仍将被保留，而注意力机制与生成策略则会在局部继续演化。线性注意力、稀疏采样、扩散式精炼，甚至世界模型，都可能成为这个骨架上的新“肌肉”。对于开发者来说，理解这些架构的本质差异和适用边界，比追逐热点更为重要。技术选型的核心，始终是找到匹配业务需求、资源条件和长期规划的最优解，而非单纯地站队某一种架构。