大模型架构演进与分化：从双向编码到自回归生成

一、概念定义：大模型架构指的是什么

大模型架构，指的是支撑大规模预训练语言模型运行的整体网络结构设计，其核心包括三个层面：基础网络单元的组织方式（如层数、宽度、残差连接）、输入输出的处理范式（如何读取输入、如何产生输出），以及训练目标的设计（预训练任务的形式）。在这些要素中，最具决定性的两个变量是注意力的可见范围与预训练任务类型——它们共同决定了一个模型是“理解型”还是“生成型”，抑或是二者的结合。

当前主流大模型几乎都建立在 Transformer 这一基础结构之上，但由于上述两个变量的不同取舍，演化出了多条技术路线。理解这些路线的分化逻辑，比记住具体模型名称更有价值，因为它直接关系到模型选型、微调策略设计以及推理部署方案的确定。

二、背景与价值：为什么会出现架构分化

2.1 原始结构的任务绑定

Transformer 架构最初提出时，面向的是机器翻译任务，因此天然采用两段式设计：编码器读取源语言句子并输出一组上下文向量，解码器通过交叉注意力读取这组向量，同时逐词生成目标语言句子。编码器对源句子只运行一次，解码器每生成一个词运行一次，生成的词会接回输入再生成下一个。这一两段式框架本身并非该论文的原创贡献——循环神经网络时代的序列到序列模型已经采用类似结构，真正的突破在于用注意力机制完全取代了循环结构。

循环网络逐词读入，每一步状态依赖上一步，第 n 个词必须等前 n−1 个词处理完毕，难以并行。注意力机制则在处理每个词时直接查看句子中的其他词，按相关程度加权汇总信息，所有位置可以同时计算。一层注意力加一层前馈网络构成一个基本单元，堆叠数十层即构成一个完整的 Transformer。并行计算让 GPU 算力得以充分利用，这为后来模型规模扩展到千亿参数提供了工程前提。

2.2 部件可拆分带来的路线分化

研究者随后发现，Transformer 的编码器与解码器两个部件可以拆开单独使用，并且各自适配不同的预训练任务。这一认识直接催生了多条技术路线。这些路线在层结构上几乎相同，实质差异只有两点：

• 注意力的可见范围：读取输入时能否看到后文。编码器读取输入时每个位置都能看到整句，注意力是双向的；解码器生成时每个位置只能看到自身及之前已生成的词，注意力是因果的。
• 预训练任务：训练时做的是填空（掩码语言建模）还是续写（自回归语言建模）。

需要说明的是，模型实际处理的单位是分词器切出的 token，中文约对应一个字到一个词，英文约对应一个单词或其一部分。这一细节影响序列长度估算与上下文窗口设计，在工程实践中不可忽略。

三、核心组成：三条技术路线的能力拆解

3.1 双向编码路线

该路线仅保留编码器，采用双向注意力，预训练任务为掩码填空：随机遮盖输入中的部分 token，让模型基于左右两侧上下文进行还原。其优势在于对输入语义的深度理解，输出的是每个位置的上下文向量表示，适合分类、检索、抽取式问答、语义匹配等判别式任务。局限在于它不直接具备逐词生成能力，若要用于生成，需要额外接上解码结构。

3.2 因果解码路线

该路线仅保留解码器，采用因果注意力，预训练任务为自回归续写：根据前文预测下一个 token。其优势在于开放式生成能力自然内嵌于结构之中，同一套参数可处理续写、对话、摘要、代码补全等多种任务。局限在于单向可见性使其在需要全局对照的判别任务上不如双向编码直接，且逐 token 生成带来推理延迟。

3.3 编码器-解码器路线

该路线保留完整两段式结构，编码器双向读取输入，解码器因果生成输出，二者通过交叉注意力连接。它在输入理解与输出生成之间做了明确分工，适合输入输出边界清晰的序列转换类任务，如翻译、语音转写后处理、结构化文本生成。代价是结构相对复杂，参数量分配与训练调度更繁琐。

四、工作原理：从输入到输出的两个关键环节

无论哪条路线，模型的行为都可归结为两个环节：读取输入与产生输出。

读取输入环节，模型将 token 序列映射为向量序列，经多层注意力与前馈网络加工，得到上下文表示。此处的关键差异是注意力掩码：双向掩码允许每个位置关注全句，因果掩码则将每个位置的可关注范围限制在自身及之前。

产生输出环节，模型基于上下文表示逐步预测下一个 token 的概率分布，采样后接回输入继续预测，直至遇到结束标记。编码器-解码器路线在该环节额外引入交叉注意力，使解码器在每一步都能回看编码器输出的完整输入表示。

用伪代码示意因果生成的循环过程：

tokens = tokenizer.encode(prompt)
while not finished:
    logits = model.forward(tokens, mask="causal")
    next_token = sample(logits[-1])
    tokens.append(next_token)
    finished = next_token == eos_token
return tokenizer.decode(tokens)

这段流程揭示了自回归生成的两个工程特征：一是推理成本随输出长度线性增长，二是可通过键值缓存复用历史计算结果以降低重复开销。前者影响延迟预算，后者影响显存占用，二者共同构成推理优化的主要着力点。

五、典型场景：不同架构的适用边界

• 语义理解与判别类任务：文本分类、情感判定、语义相似度计算、检索召回排序，双向编码路线因全局可见性而更为直接。
• 开放式生成类任务：对话问答、内容创作、代码补全、摘要生成，因果解码路线因结构与任务天然对齐而成为主流选择。
• 输入输出边界清晰的转换类任务：机器翻译、结构化信息抽取后生成、多模态描述生成，编码器-解码器路线分工明确，便于分别优化。
• 混合需求场景：既需深度理解又需生成输出的系统，常见做法是采用编码器提供表示、解码器负责生成，或在统一解码架构上通过提示设计兼顾两类需求。

六、相关概念区别与选型注意

编码器与解码器的区别不在层结构，而在注意力可见范围与是否引入交叉注意力。掩码语言建模与自回归建模的区别在于训练信号的构造方式：前者利用双向上下文还原被遮盖内容，后者仅利用左侧上下文预测后续内容。二者并非优劣关系，而是与任务形态匹配与否的关系。

选型与使用中需关注以下问题：

1. 上下文窗口与 token 预算：分词粒度影响实际可处理的文本长度，长文档场景需核算有效窗口。
2. 推理延迟与吞吐：自回归生成逐 token 进行，需结合批处理、缓存策略与硬件配置综合评估。
3. 微调方式匹配：理解型任务与生成型任务在数据构造、损失设计上差异明显，迁移时不可直接套用。
4. 输出可控性：生成路线的采样策略直接影响结果稳定性，生产环境需配置合理的解码参数与后处理校验。
5. 架构混用的复杂度：组合多条路线会带来训练调度与部署运维的额外成本，应权衡收益。

七、总结

大模型架构的演进，本质上是在“如何读取输入”与“如何产生输出”这两个环节上不断做取舍的过程。Transformer 以注意力取代循环，奠定了并行计算的基础；编码器与解码器的可拆分性，催生了双向编码、因果解码与两段式三类路线；而注意力可见范围与预训练任务这两条分化主线，至今仍是判断一个模型能力边界最有效的切入点。理解这一分化逻辑，有助于在具体任务中做出更合理的架构选择，而不是仅凭模型规模或热度做决策。