大模型训练全流程原理拆解

一、原理概述：大模型训练到底在训练什么

大模型的训练并非一次性完成，而是一个分阶段、逐步塑形的过程。从底层看，训练的本质是不断调整模型参数，使模型对”下一个词”或”哪个回答更好”的预测更符合预期。整个过程通常分为三个阶段：预训练（无监督语言建模）、有监督微调（SFT）、奖励模型训练（RM），三者共同构成”基座能力—指令跟随—偏好对齐”的递进链路。

本文要解释的核心问题是：这条链路中每个阶段的输入输出是什么、模型结构做了哪些取舍、关键机制（掩码、归一化、位置编码、排序损失）为什么这样设计，以及它们如何影响最终模型的能力边界。

二、背景问题：为什么需要分阶段训练

如果只用单一目标训练，会面临两个矛盾：

1. 能力与可控性的矛盾。语言建模目标能让模型学会续写，但续写不等于”按要求回答”。模型可能续写出格式随意、不符合人类期望的内容。
2. 绝对打分难以统一。让标注员直接给回答打 1~10 分，不同标注员的标准差异极大，分数不可比；但让标注员判断”两个回答哪个更好”则容易得多。

分阶段训练正是为了分别解决这两个问题：预训练获得通用语言能力，SFT 获得指令跟随能力，奖励模型把”相对偏好”转化为可计算的标量分数，为后续对齐提供稳定的优化目标。

三、核心概念：理解链路前的基础

• 自回归语言建模：给定前文，预测下一个词的概率分布。训练时把真实文本错位输入，计算每个位置的预测损失。
• 单向注意力（因果掩码）：每个位置只能看到左侧已出现的词，看不到右侧未来词。这保证训练目标与推理时的生成方式一致。
• 有监督微调（SFT）：用人工整理的”问题—答案”对继续训练，让模型学会对话式输出。
• 奖励模型（RM）：输入一个问答对，输出一个标量分数，用于衡量回答质量，本质是回归模型。
• 相对排序替代绝对打分：用”chosen 优于 rejected”的成对比较构造训练信号。

四、系统组成：三个阶段的关键模块

阶段	输入	模型结构	输出	训练目标
预训练	大规模无标注文本	解码器结构，含因果掩码、归一化、位置编码	词表上的概率分布	下一词预测损失
SFT	人工整理的问答对	同预训练基座	对话式回答	答案位置的下一词损失
奖励模型	同一问题的成对回答	SFT 基座 + 最后一层改为单神经元	标量分数	成对排序损失

三个阶段共享同一套骨干结构，只在最后一层或训练目标上做替换，这种”共用底座、更换头部”的设计大幅降低了整体训练成本。

五、工作流程：从文本到偏好分数

第一步：预训练。 将文本切成词元序列，错位构造输入与标签；前向计算得到每个位置的词概率；用交叉熵损失反向传播更新参数。此阶段数据量最大，模型学到语法、事实与推理的初步模式。

第二步：有监督微调。 在预训练基座上，用问答对继续训练。实操中常先以大量语料做无监督训练得到基座（体现续写能力，即 generate），再用人工整理的 QA 语料做有监督训练（体现对话能力，即 chat）。

第三步：奖励模型训练。 对同一问题采样多个回答，人工标注优先级排序；把成对样本（chosen、rejected）输入 RM；RM 分别打分；用排序损失反向传播，使 chosen 分数高于 rejected。

第四步：使用。 RM 为后续对齐阶段提供打分器，对候选回答进行质量评估，指导策略优化。

六、关键机制：为什么这样设计

1. 因果掩码：让训练与推理对齐

解码器中第一层自注意力带掩码，计算某词预测概率时只利用其左侧信息，形成单向 Transformer。这与自回归生成”逐词向右产出”的方式完全一致。若不做掩码，模型在训练时能”偷看”未来词，推理时却看不到，训练与推理分布不一致，泛化能力反而下降。掩码的代价是模型无法在一次前向中利用双向上下文，但换来的是与生成任务严格对齐的建模方式。

2. 归一化位置：稳定深层训练

原文提到采用前归一化（Post-Norm）以缓解梯度消失、使训练更稳定。需要说明的是，业界对”前归一化/后归一化”的命名存在不同约定，不同实现会把归一化层放在子层之前或之后，并用残差连接配合。其共同原理是：归一化把每层激活值拉到稳定分布，残差连接提供梯度直通路径，二者结合降低深层网络的训练不稳定性。选择哪种排列，本质上是在”训练稳定性”与”表达灵活性”之间做权衡，需结合具体任务验证。

3. 旋转位置编码：提升外推性

位置编码决定模型如何感知词序。相对位置编码刻画词与词的相对距离，但在训练长度与推理长度不一致时容易出现性能下降，这就是”外推性”问题——训练和预测输入长度不一致导致泛化能力下降。旋转位置编码通过对查询与键向量施加与位置相关的旋转变换，使注意力分数自然携带相对位置信息，在长度外推上表现更稳健。要注意：外推性提升是相对的，超长输入仍需配合位置插值或长度扩展策略，不能假定无限外推。

4. 成对排序损失：把偏好转成可优化信号

RM 不直接打分，而是学习”哪个更好”。设 chosen 分数为 s_c、rejected 分数为 s_r，常用损失形如：

loss = -log( sigmoid( s_c - s_r ) )

当 s_c 明显大于 s_r 时损失趋近 0，反之损失增大，梯度推动二者拉开差距。用相对差而非绝对分，避开了标注标准不统一的问题。以示例说明：对同一问题有三个回答 A1、A2、A3，人工标注 A2 > A1 > A3；把 (A2,A1)、(A2,A3)、(A1,A3) 三对分别输入模型打分并计算损失、反向传播，最终使 A2 分数高于 A1、A1 高于 A3。这种两两比较的方式把”排序”这一弱信号转化为稠密的训练梯度。

七、技术优势与限制

优势：分阶段训练让能力递进可控；掩码保证训练推理一致；归一化与残差提升深层稳定性；旋转位置编码改善长度外推；成对排序降低标注门槛、提高信号一致性。

限制：掩码使模型无法利用右侧上下文；位置外推有上限，超长输入仍需额外处理；RM 只能反映标注偏好，存在标注偏差与分布偏移风险；排序信号只约束相对次序，不保证绝对分数校准。

八、常见误区

• 误区一：SFT 阶段就是纯监督学习。 实操中通常先无监督预训练得到基座，再有监督微调，二者是先后关系而非替代关系。
• 误区二：奖励模型直接给回答打绝对分。 它训练信号来自成对排序，输出分数是相对偏好的体现，不宜当作可跨任务比较的绝对质量分。
• 误区三：有了位置编码就能无限外推。 外推性是相对改善，超长上下文仍需长度扩展与验证。
• 误区四：掩码会削弱模型能力。 掩码是为与生成任务对齐而做的结构性取舍，不是缺陷。

九、总结

大模型训练是一条”预训练打底、SFT 塑形、RM 对齐”的递进链路。理解它，关键不是记住阶段名称，而是抓住每个机制背后的因果：掩码对齐训练与推理，归一化与残差稳定深层优化，旋转位置编码改善长度泛化，成对排序把难以统一的绝对打分转化为可优化的相对信号。掌握这些机制为何成立、在什么边界内有效，才能在实际训练与选型中做出合理取舍。