预训练、SFT、RLHF：大模型训练三阶段对比

作者：Nicky2026.11.04 10:24浏览量：0

简介：本文围绕大模型训练的三个核心阶段展开对比：预训练、监督微调（SFT）与人类反馈强化学习（RLHF），从监督信号形式、数据成本、人工投入、训练顺序与风险边界等维度系统梳理三者差异与联系，并延伸对比提示词优化这条使用层路径，帮助读者在“调提示词、做微调、上强化学习”之间建立清晰的选型判断框架。

一、对比背景

大语言模型（LLM）并不是一次性训练完成的“成品”。一个能对话、能答题、能写代码的助手模型，背后通常经历了三个阶段：预训练（Pre-training）、监督微调（SFT，Supervised Fine-tuning）与基于人类反馈的强化学习（RLHF）。很多开发者与企业在实践中会反复遇到两类困惑：基座模型与对话模型差在哪？自己该训练模型，还是该优化提示词？要回答这些问题，必须先讲清楚三个阶段各自的分工、成本与适用边界。本文即以这条训练管线为主线展开系统对比。

二、对比对象定义

2.1 预训练：自监督的“文字接龙”

从底层机制看，LLM本质上在做文字接龙。几个关键事实值得先厘清：

  • token视角：英文里一个词根近似一个token，例如 unkillable 会被拆为 un、kill、able 三个token；实际送入网络的是一个数字编号，再转化为embedding向量，即神经网络可处理的表示。
  • 输出本质：模型每次输出的不是“一个确定的字”，而是下一个token的概率分布，概率越高的token被采样到的机会越大。
  • 采样注意：并不是永远选概率最大的那个token——有研究表明，贪心地取最大概率容易陷入复读式死循环，因此实际部署通常采用带随机性的采样策略。
  • 学习方式：自监督。任何句子都能当教材，例如训练语料是“人工智能真神奇”，模型看到“人”时，接出“工”的概率就会被提高。

预训练的结果是：模型“在网上自由自在地学知识”，但并不清楚人类的需求是什么。你问它一个问题，它可能直接回你四个选项——因为网上的资料里本来就存在大量选择题形式的文本。

2.2 监督微调（SFT）：人类老师给标准答案

SFT阶段由人类老师直接给出“人类所预期的正确答案”，模型在问答样本上做监督学习。相对于预训练的自监督属性，SFT是有明确标签的监督学习。它的定位是：把“知识渊博但不会以助手方式回应”的基座模型，调教成“知道该以什么格式、什么姿态回应指令”的模型。

2.3 强化学习（RLHF）：老师只打分，不给答案

RL（更具体地说是RLHF）中，老师不需要告诉模型具体答案，只需要对模型自己给出的答案做出好坏评价，模型会据此提高“被评价为好”的答案的输出概率。其训练分两个阶段：先根据人类反馈学习出一个奖励模型（reward model），再用奖励模型取代人类反馈继续优化。SFT与RL合起来称为对齐（alignment）。

三、相同点分析

三个阶段看似形式迥异，底层却有深刻的共同点：

  1. 操作对象一致：三者最终都在调整“下一个token的概率分布”。预训练把概率往“符合语言规律”的方向调，SFT往“符合人类标准答案”的方向调，RL往“获得更高奖励”的方向调。
  2. 作用于同一模型：三阶段是对同一组参数的连续加工，而不是三个独立模型，能力是层层继承的。
  3. 目标同源：都是让输出更接近人类预期，SFT与RL共同构成对齐过程。
  4. 都依赖数据质量与评估机制：任何阶段的数据偏差都会直接固化到模型行为中。

四、核心差异分析

4.1 监督信号形式（最本质的差异）

  • 预训练：信号来自文本自身（下一个token是什么），无需人工介入；
  • SFT：人工撰写的标准答案，信号强、明确，但每条都要人写；
  • RLHF：标量奖励或偏好比较，信号相对弱，但覆盖面广、标注单位成本低。

用示意性伪代码表达三者差异：

  1. # 伪代码：三种训练范式的监督信号对比
  3. # 预训练（自监督）："答案"就是文本自带的下一个 token
  4. loss = cross_entropy(model(context), next_token)
  6. # SFT（监督微调）：答案由人类老师撰写
  7. loss = cross_entropy(model(question), human_answer)
  9. # RLHF（强化学习）：没有标准答案，只有对模型输出的评价
  10. reward = reward_model(model(question))
  11. policy_gradient_update(model, reward)

4.2 人力成本结构

SFT比较辛苦：每条样本都需要人写出完整答案，标注成本随数据量线性增长。RL比较省力：人只需要判断好坏、打分或排序，单位成本明显更低。这正是“微调费力、强化学习省力”这一直观感受的技术根源。但需要注意，RL省的是标注人力，多出来的是训练流程的复杂度——它需要额外训练并维护一个奖励模型。

4.3 数据规模与学习目标分工

  • 预训练使用网络级海量文本，目标是语言能力与知识；
  • SFT使用中等规模的标注问答对，目标是指令遵循与任务格式；
  • RLHF使用偏好数据，目标是价值与偏好的对齐（更有用、更安全、更符合人类判断）。

4.4 阶段依赖与顺序

三个阶段存在严格的先后依赖：一般先预训练，再SFT，再RLHF。原因在于：必须先让模型具备“输出好答案的可能性”，之后用RL给予反馈才有意义——如果模型根本没有能力产出好答案，奖励信号便无物可奖励。行业演进也印证了这一顺序：早期几代大模型只做了预训练，主要靠扩大参数量与训练数据提升能力；后续新一代模型才引入SFT与RL；更新的模型则进一步叠加了视觉与深度思考等多模态、复杂推理能力。

4.5 风险画像

  • 纯预训练模型：能力充足但行为不可控，容易以训练语料中的形态回应（如给出四个选项）；
  • SFT：受限于标注数据的规模与分布，容易过拟合小数据集，且并不擅长注入新知识；
  • RLHF：奖励模型可能被“钻空子”，模型过度优化奖励分数反而可能损害真实输出质量。

五、对比表格

维度 预训练 SFT RLHF
学习范式 自监督 监督学习 强化学习
监督信号 下一个token 人类标准答案 好坏评价/奖励分
人工参与 几乎无需 高（撰写答案） 中（打分排序）
数据量级 海量网络文本 中等规模标注数据 偏好比较数据
主要目标 语言与知识 指令与格式 偏好与价值对齐
成本重心 算力 标注+算力 奖励模型+训练流程
阶段顺序 第一阶段 第二阶段 第三阶段
典型风险 行为不可预期 过拟合小数据 奖励被过度优化

六、延伸对比：提示词优化这条“使用层路径”

除训练层外，还有一条不改参数、只改输入的路径——提示词优化。常用手段包括：

  1. 思维链（CoT）：请模型展示推理过程，本质也是一种任务拆解；
  2. 任务拆解：先列大纲再逐段展开；
  3. 自我检查：让模型解释自己的答案、检查自己的错误；
  4. 情绪勒索：告诉模型“这件事对我很重要”，实测有效；
  5. 礼貌用语：对模型客气没有明显作用；
  6. 正向指令：说“要做什么”，而不是“不要做什么”；
  7. 激励表述：做得好给小费、做不好有惩罚；
  8. 公平性要求：确保答案公正、没有刻板印象，并提醒“类别定义可能与一般定义不同，请仔细阅读”；
  9. 补足前提：把模型原本不清楚的背景信息讲清楚；
  10. 提供范例（In-context Learning）：验证模型是否真的读懂了范例，可以故意给错误的范例，观察模型回答是否随之改变——这是一个低成本的有效探针；
  11. 自动化搜索：用RL训练寻找“神奇咒语”，或直接问模型要咒语。
维度 提示词优化 SFT RLHF
是否修改参数 否 是 是
迭代速度 快，可实时验证 慢，需训练 更慢，流程复杂
成本结构 每次调用的token成本 一次性训练+标注 奖励模型构建+训练
效果上限 受模型既有能力限制 稳定改变行为 改善难以明确定义的行为
可迁移性 因模型而异，可能无效 跟随模型权重 跟随模型权重
前置条件 模型已具备相关能力 有高质量示范数据 已具备产出好答案的可能

需要特别注意：提示词技巧“对于一些模型可能没有用”，更换模型后应重新测试；而训练层手段的效果固化在权重中，不随调用方式漂移，但需要承担训练与维护成本。

七、典型场景选择

  1. 直接调用大模型做业务：优先选择经过SFT与RL对齐的对话模型而非裸基座模型；先用提示词工程（CoT、范例、任务拆解）快速迭代。团队不具备训练条件时，通过托管平台使用大模型服务类能力是更现实的路径，例如在百度智能云等云平台上直接调用并优化提示词。
  2. 有领域数据、需要定制行为：先尝试few-shot范例加清晰前提；效果不足时再考虑SFT。
  3. 输出难以写成标准答案、但容易比较优劣（如文风、安全性、有用性）：在SFT之后叠加RL。
  4. 需要注入新知识：优先考虑继续预训练或检索增强手段，SFT并不擅长灌入大量事实性知识。

八、选型建议

  • 预算与数据有限时，提示词优化是性价比最高的起点；
  • 已有数千条高质量问答数据、且要求行为稳定可控时，可优先考虑SFT；
  • 目标行为“写不出标准答案、但分得出好坏”时，在SFT基础上引入RL；
  • 无论选择哪条路径，阶段顺序不可颠倒：先有能力，再谈对齐。

九、迁移与使用注意事项

  1. 顺序不可逆：RL先于SFT执行没有意义，好答案的可能性是对反馈生效的前提；
  2. 奖励模型的替换风险：用奖励模型取代人类反馈后，其质量决定了优化的上限，需要持续用人类反馈校准；
  3. 提示词的可移植性：换模型后提示词需要重测，可用“错误范例探针”快速检验；
  4. 部署采样策略：避免贪心取最大概率token，防止复读式死循环；
  5. 评估先行：微调或RL之前先建立评测集，防止对齐过程中基础能力出现回退；
  6. 数据合规：标注数据与人类反馈涉及人工处理和隐私时，应做好脱敏与权限管控。

十、总结

预训练、SFT与RLHF解决的是同一枚硬币的三个面：预训练赋予知识与语言能力，SFT教会模型以助手的方式回应，RLHF则把人类偏好注入输出分布。三者的差异本质上来自监督信号形式的不同——自带的下一token、人类撰写的标准答案、对模型自身输出的好坏评价，由此衍生出人力成本、数据规模、训练顺序与风险边界的全部差异。对使用者而言，先在提示词层充分挖掘模型既有能力，再视数据与预算决定是否进入训练层，是兼顾效率与成本的稳妥路径。

最热文章