大模型训练过程全解析：从语言建模到对齐微调的技术对比

一、对比背景：为什么要理解大模型训练的分阶段差异

大模型的训练并非一次性完成的单步任务，而是一条由多个目标、数据结构与优化策略各不相同的阶段串联而成的流水线。业界常见做法是将其划分为三个阶段：基础语言建模（预训练）、监督微调（SFT），以及基于人类反馈的对齐训练（奖励建模与策略优化）。

理解这三个阶段的差异，对于开发者具有直接的工程意义：不同阶段决定了模型的哪些能力、需要什么形态的数据、消耗哪类资源、以及最终对外暴露的接口是”续写”还是”对话”。本文从”目标、结构、数据、能力、适用场景”等维度出发，对这些阶段进行系统对比，帮助读者在面对”该投入哪个阶段”、”该选哪种训练范式”时形成清晰的判断依据。

二、对象定义：三个阶段的本质是什么

阶段一：基础语言建模

该阶段使用大规模无标注语料，通过自监督方式训练一个语言模型。常见结构以仅解码器（Decoder-only）的 Transformer 为核心框架，其典型特征包括：

• 单向注意力与掩码机制：通过掩码使模型在预测某个位置的词时只能看到其左侧上下文，从而保证预测的目标词不会被”提前看到”。这种单向性使模型获得的是”根据前文预测下一个词”的能力。
• 归一化位置的选择：部分方案采用前置归一化（Pre-Norm）以缓解深层网络的梯度传播问题，也有些方案沿用后归一化（Post-Norm）并配合其他稳定化技巧。两者在训练稳定性与收敛表现上各有侧重。
• 位置编码方式：相对位置编码与旋转位置编码（RoPE）是两类常见思路。旋转位置编码在长度外推性方面通常表现更优，即训练时与推理时的输入长度不一致时，仍能保持相对合理的泛化能力。

此阶段训练出的模型对外表现为 generate（续写） 能力：给定一段上文，模型延续出合理的下文。

阶段二：监督微调（SFT）

在基础模型之上，引入人工整理的”问题—答案”语料，以有监督方式继续进行条件化训练。此时模型学习的不再是任意续写，而是”面对一个问题应如何作答”。训练完成后，模型对外表现为 chat（对话） 能力。

阶段三：对齐训练（奖励建模与策略优化）

由于同一个问题可以生成多个不同质量的回答，需要一个能够判断”哪个回答更好”的评分机制。常见流程是：

1. 针对同一问题采样多个回答；
2. 由人工标注员对这些回答进行相对排序（而非绝对打分），例如 A2 > A1 > A3；
3. 以监督微调模型为底座，将最后一层替换为单神经元输出，构建一个回归模型进行打分；
4. 将成对样本（chosen / rejected）输入模型，通过损失函数反向传播，使排名靠前的回答得分更高。

使用相对排序而非绝对分数的原因在于：不同标注员对绝对分数的标准难以统一，但”哪个更好”的判断更容易达成一致，用相对替代绝对可以显著降低标注噪声。

三、相同点分析

三个阶段的共同基础在于：

• 共享同一套主干网络结构：后续阶段均以第一阶段的模型为底座，不重新设计主体架构，仅调整训练目标与输出头。
• 均依赖梯度反向传播优化：无论自监督还是监督信号，最终都通过损失函数与反向传播更新参数。
• 目标一致：提升模型在目标任务上的表现：只是”目标任务”从语言分布拟合逐步过渡到指令遵循与偏好对齐。
• 数据规模与标注成本呈反向关系：第一阶段数据量最大但无标注；后续阶段数据量显著缩小，但标注成本与质量控制要求显著上升。

四、核心差异分析

1. 训练目标与信号来源

维度	基础语言建模	监督微调	对齐训练
监督信号	自监督（预测下一词）	人工问答对	人工相对排序
目标函数	语言建模损失	条件生成损失	排序/回归损失
输出头	词表维度	词表维度	单神经元回归

2. 模型结构与计算过程

基础阶段的关键差异体现在注意力掩码与位置编码上。掩码保证单向可见性，使得预测每个词时仅利用左侧信息。相比同时利用左右上下文的方式，单向建模更贴近自回归生成的需求，泛化到实际生成任务时更自然。

位置编码方面，旋转位置编码通过对查询与键施加与位置相关的旋转操作，使注意力分数隐式携带相对位置信息，在长文本外推场景下通常比传统绝对位置编码更稳健。

3. 数据形态与规模

• 阶段一：海量通用文本，规模最大，质量参差需过滤。
• 阶段二：精编问答对，数量级通常远小于预训练语料，但每条样本的信息密度更高。
• 阶段三：成对或成组偏好数据，规模最小，但标注一致性要求最高。

4. 能力表现与接口形态

• 阶段一 → generate 接口，表现为续写、补全；
• 阶段二 → chat 接口，表现为问答、指令遵循；
• 阶段三 → 对齐后的偏好优化，表现为回答更符合人类偏好、更安全。

5. 资源与成本结构

• 预训练消耗算力最大，训练周期最长；
• 监督微调算力需求显著降低，但对数据质量敏感；
• 对齐训练算力需求进一步降低，但对标注流程与损失设计敏感。

6. 使用边界与风险

• 仅完成阶段一的模型直接用于对话，可能出现答非所问、指令不遵循；
• 仅完成阶段二而缺少对齐，可能出现有害内容或偏好偏差；
• 对齐阶段若排序数据存在系统性偏差，会将偏差固化进模型。

五、对比表格汇总

对比维度	基础语言建模	监督微调	对齐训练
核心目标	语言分布拟合	指令遵循	偏好对齐
数据形态	无标注文本	问答对	相对排序
对外能力	续写	对话	偏好优化
结构改动	主干网络	同主干	换输出头
训练成本	最高	中	较低
主要风险	能力单一	数据质量依赖	偏好偏差

六、典型场景选择

• 需要通用续写、代码补全、文本生成：基础语言建模能力即可满足；
• 需要问答助手、指令执行、任务型对话：需完成监督微调；
• 需要回答符合人类偏好、降低有害输出：需引入对齐训练；
• 资源有限、仅做垂域适配：可跳过从零预训练，直接从已有底座进行监督微调。

七、选型建议

1. 若团队缺乏大规模算力，不建议从零开始预训练，可优先考虑基于公开或自有底座进行监督微调；
2. 若产品对回答质量与安全性要求高，应在监督微调之后补充对齐训练；
3. 若任务为纯生成类（如内容续写），可优先评估基础模型；
4. 若任务为交互类（如客服、助手），监督微调与对齐缺一不可。

八、迁移与使用注意事项

• 接口层面：从 generate 迁移到 chat 需调整输入模板与提示词结构；
• 数据层面：微调数据分布需与线上真实输入对齐，否则易出现分布偏移；
• 对齐层面：偏好数据需多人交叉标注以降低个体偏差；
• 稳定性层面：更换位置编码或归一化方式时需重新评估收敛性与外推表现。

九、总结

大模型训练的三个阶段在目标、数据、结构与能力上存在本质差异：基础语言建模解决”会说话”，监督微调解决”听得懂指令”，对齐训练解决”说得让人满意”。三者并非替代关系，而是逐层递进的能力叠加。技术选型时应结合自身算力、数据与产品目标，判断需要走到哪一步，而非盲目追求全流程覆盖。