大模型架构演进原理：从双向编码到因果解码的范式分化

一、原理概述：理解大模型架构的两条主线

要理解当前大模型生态的多样性，需要抓住两个核心环节：模型如何读取输入，以及模型如何产生输出。围绕这两个环节，不同架构之间形成了清晰的演进脉络。本文要解释的技术原理正是这一演进逻辑：从最初为机器翻译设计的对称结构，到双向编码与因果解码的分化，再到面向判别任务的快速输出范式。这三者共同构成了理解当下各类预训练语言模型底层运行机制的基础框架。

这一框架的核心变量只有两个：其一，注意力机制的可见范围——即模型在处理某个位置时，能否看到该位置之后的内容；其二，预训练阶段的任务形式——模型是通过“填空”学习上下文关联，还是通过“续写”学习序列规律。这两个变量决定了模型的能力倾向、推理成本和适用场景。

二、背景问题：循环网络的瓶颈与注意力机制的登场

在注意力机制被引入之前，序列建模主要依赖循环神经网络。这类网络按时间步逐词处理输入，每一步的隐状态由前一步传递而来。这意味着第 n 个词的计算必须等待前 n−1 个词全部完成，序列越长，串行计算的开销越大，且长距离依赖容易在逐步传递中衰减。

Transformer 架构的变革性在于用注意力机制彻底取代了循环结构。注意力机制在处理某个词时，直接计算该词与句子中其他所有词的相关程度，并按权重汇总信息。这一步操作使得任意两个位置之间的信息传递只相隔一次计算，不再受制于距离。更重要的是，所有位置的计算互不依赖，可以完全并行，这为 GPU 的大规模并行计算提供了天然的适配基础，也是后来模型参数量能扩展到千亿级别的前提条件。

三、核心概念：编码器、解码器与注意力可见范围

深入架构细节之前，需要明确三组基础概念。

1. 编码器与解码器的分工

编码器负责读取完整输入，将其转换为一组上下文向量。解码器则负责根据这组向量逐词生成输出序列。在原始结构中，解码器每生成一个词，需要将已生成的词接回输入端，再预测下一个词，这是一个自回归的过程。

2. 双向注意力与因果注意力

这是理解架构分化的关键。编码器在处理某个位置时，可以看到输入句子的全部位置，包括前后文，这称为双向注意力。解码器在处理某个位置时，只能看到该位置及之前已生成的词，后面的词对它是不可见的，这称为因果注意力，也叫掩码自注意力。形象地说，双向注意力像阅读整篇文章后再答题，因果注意力则像逐字推进，每写一个字只能参考已经写完的内容。

3. 分词器与 Token

模型实际处理的基本单位是分词器切分出的 token。以中文为例，一个 token 大约对应一个字或一个词；英文中约对应一个单词或其词根后缀的一部分。Token 序列的长度直接影响计算量和注意力矩阵的规模。

四、系统组成：Transformer 基本单元与堆叠结构

无论是哪种技术路线，底层的网络组成单元是一致的。一个标准的 Transformer 基本单元由两个子层构成：

• 多头自注意力层：负责计算输入序列中各个位置之间的关联权重，并将不同位置的向量按权重进行加权求和。多头机制允许模型同时关注不同维度上的语义关系。
• 前馈全连接层：对注意力层输出的每个位置向量进行独立的非线性变换，增强模型的表达能力。

每个子层之后都接有残差连接与层归一化。残差连接保证了深层网络的梯度可以顺畅回传，层归一化则稳定了训练过程。数十个这样的基本单元纵向堆叠，加上底层的嵌入层和顶层的输出映射层，便构成了完整的大模型主体。

五、工作流程：两段式生成与预训练-微调范式

1. 原始的两段式工作流程

以机器翻译任务为例，完整流程分三步：

• 第一步，编码阶段：源语言句子输入编码器，编码器通过双向注意力一次性计算完整句的上下文表示，输出一组向量。
• 第二步，逐步解码阶段：解码器接收这组向量，先初始化一个起始符，结合起始符与编码器输出的上下文向量预测第一个词；随后将第一个词接回输入，再预测第二个词，依次迭代直到输出结束符。
• 第三步，损失计算：将每一步预测的概率分布与真实目标词计算交叉熵损失，反向传播更新参数。

2. 预训练与微调的分化

2018 年前后的研究发现，编码器和解码器可以拆开单独使用，并为各自设计专门的预训练任务。这一发现直接催生了三条技术路线，它们的层结构几乎相同，差异集中在注意力的可见范围和预训练任务上：

技术路线	注意力类型	预训练任务	适用场景
双向编码路线	双向	随机遮蔽部分 token，预测被遮蔽的内容	分类、抽取、语义匹配等判别任务
因果解码路线	因果	给定前文，预测下一个 token	文本生成、对话、摘要等生成任务
编码-解码融合路线	双向+因果	结合填空与续写	翻译、摘要等序列到序列任务

六、关键机制：注意力可见范围如何决定能力边界

1. 双向编码：理解优于生成

双向编码路线模型在读取输入时能看到完整的上下文。预训练阶段，模型随机遮蔽序列中 15% 左右的 token，然后仅依据未被遮蔽的部分预测被遮蔽位置的内容。这一机制促使模型必须充分理解双向语境才能给出正确预测。它的优势在于语义理解深度强，适合需要整体把握语义的判别任务。但它的局限在于无法自回归地逐词生成文本，因为生成时天然无法看到未来的词，这与它的训练方式相冲突。

2. 因果解码：生成优于理解

因果解码路线模型在读取输入时严格遵循时间顺序，每个位置只能关注自身及之前的内容。预训练任务就是最朴素的语言建模：给定前 k 个 token，预测第 k+1 个 token。这种任务形式与人类书写过程高度一致，模型学到的是序列的统计规律和连贯表达能力。它可以无缝地进行任意长度的文本续写，但也因此放弃了对后文的利用能力，在需要全局理解的判别任务上性能通常不如双向编码模型。

3. 判别式输出：从长文本生成到概率判断

在主流生成模型不断优化续写能力的同时，另一类面向判别任务的模型走出了不同路径。这类模型不逐词生成文本，而是针对给定输入直接输出若干个限定问题的答案概率。具体形式包括：

• 从若干选项中选一个：模型输出每个选项的概率，取概率最高者作为答案。
• 在若干等级上评分：模型输出每个等级的得分概率，表征匹配程度。
• 判断陈述是否成立：模型输出该陈述为真的概率。

这种输出方式的推理效率极高。生成模型需要逐词自回归，每生成一个 token 都要运行一次完整的前向计算，完成一次回答通常需要数秒到数分钟；而判别式模型只需要一次前向传播，直接映射到答案概率空间，整个判断过程在百毫秒量级即可完成。其底层网络可以基于双向编码结构搭建，用特定的输出头替换原来的预测头，从而保留双向上下文建模能力，同时获得快速决策能力。

七、技术优势与限制：不同路线的权衡

双向编码的优势与限制

优势在于：

• 预训练效率高，填空任务相比续写任务收敛更快；
• 对上下文语义的利用更充分，在分类、排序、匹配等任务上表现突出；
• 推理时不需要逐步生成，计算开销可控。

限制在于：

• 无法直接用于文本生成；
• 对于需要理解长期因果链条的任务，双向信息可能引入干扰。

因果解码的优势与限制

优势在于：

• 生成能力天然具备，可以完成开放域对话、文章续写、代码生成等任务；
• 训练目标与使用目标一致，不存在任务形式错配；
• 模型规模扩展后，涌现出的能力（如上下文学习、思维链）更多体现在生成路径上。

限制在于：

• 生成速度受限于自回归过程，延迟较高；
• 单向注意力在部分理解类任务上不如双向编码精准。

判别式输出的优势与限制

优势在于：

• 推理延迟极低，适合实时性要求高的场景；
• 输出形式稳定可控，不会出现生成式模型的流畅但错误回答；
• 资源消耗低，无需维护大规模生成解码过程。

限制在于：

• 只能回答限定形式的问题，无法进行自由文本生成；
• 需要针对具体任务设计输出头并进行任务特定的微调；
• 选项空间需要提前定义，无法处理开放域问题。

八、常见误区辨析

误区一：认为双向编码模型比因果解码模型“更弱”

实际上两者是能力方向的差异，而非高低差异。双向编码模型在理解类任务上可能优于同等规模的因果解码模型，而因果解码模型在生成类任务上不可替代。正确做法是根据目标场景选择合适基座，而非简单比较参数规模。

误区二：认为注意力机制是“逐词处理”

注意力机制在处理每个词时确实是逐位置计算，但其内部对该词的表示计算是全局并行的。所谓“逐词”是指输出阶段的自回归生成方式，而非注意力计算本身。这是两类概念，需要区分开来。

误区三：忽略预训练任务与下游任务的匹配性

预训练任务定义了模型学习到的归纳偏置。填空任务训练出的模型更擅长利用上下文线索，续写任务训练出的模型更擅长序列生成。如果下游任务与预训练任务形式错配，即使微调也难以完全弥补基础能力的缺失。

九、总结：回到架构本质

纵览从原始 Transformer 到各类后续路线的演进，核心变化始终围绕两个维度：注意力可见范围决定模型感知信息的边界，预训练任务决定模型学习规律的偏好。双向编码路线选择了“看完全文再作答”，因果解码路线选择了“边写边想”，判别式输出路线则跳出了文本生成的框架，直接建立输入到答案概率的映射。

理解这一原理框架的意义在于：当面对一个具体任务时，能够基于任务对语义理解深度、生成自由度、推理延迟的要求，决策正确的架构方向。模型的参数量固然重要，但架构与任务的匹配程度往往更直接地决定了最终效果的上限与资源投入的效率。在工程实践中，将这一原理作为架构选型的底层逻辑，是构建可靠自然语言处理系统的关键一步。