大模型训练三阶段：预训练、SFT与RLHF

作者：carzy2026.11.03 16:10浏览量：0

简介：本文系统解析大语言模型训练的三个核心阶段——预训练、监督微调（SFT）与基于人类反馈的强化学习（RLHF）。文章对比SFT与RL在监督信号与标注成本上的本质差异，阐明“先预训练、再微调、后强化学习”这一范式的内在逻辑，帮助读者理解模型如何从“会生成文本”进阶到“输出高质量回答”，并掌握各阶段的实践要点与适用场景。

一、概念定义：什么是大模型训练的“三阶段范式”

大语言模型的训练并不是一步到位的。业界普遍采用一条分阶段的训练链路：预训练、监督微调，最后是基于人类反馈的强化学习。三者环环相扣，分别回答了三个不同的问题：模型如何“学会说话”、如何“听懂指令”、如何“把话说好”。

从三个视角理解这一定义：

  • 技术视角：这是一套对同一模型参数进行分阶段塑造的训练流程，每个阶段使用不同的数据形态和目标函数；
  • 使用视角：它决定了最终模型好不好用——能否遵循指令、能否稳定输出高质量回答；
  • 业务视角：它直接影响企业将通用模型适配到具体场景所需的成本、数据量和周期。

概括成一句话：这是一套先让模型具备语言能力，再教会它按指令对话，最后通过“只评好坏、不给答案”的反馈机制持续提升回答质量的分层训练体系。

二、背景与价值：为什么单一阶段不够用

理解这套范式的价值，需要先看每个单独方法的局限：

1. 仅做预训练的问题。 预训练模型通过在海量文本上预测下一个词，学到了丰富的语言规律和世界知识，但它的行为本质上是“续写”——给它一段话，它会顺着往下写，却不理解“请回答我的问题”这类指令，也不懂对话的回合结构，输出质量参差不齐。

2. 仅做监督微调（SFT）的问题。 SFT确实能让模型学会对话和遵循指令，但它有一个昂贵的隐含前提：每一条训练数据都需要人工写出完整的理想答案。高质量回答的撰写依赖专业知识，成本高、周期长，而且数据永远无法穷举所有真实场景，模型只能学到标注数据中出现过的回答模式。

3. RLHF补上的那一环。 强化学习的思路发生了转变：老师不需要告诉模型具体答案，只需要对模型自己给出的回答做“好/坏”的评价。判断一个答案好不好，远比亲手写出一个好答案轻松。模型则据此提升“好答案”的生成概率，把输出分布逐步推向人类偏好的方向。这就大幅降低了数据生产成本，同时让模型有机会在标准答案覆盖不到的场景中持续变好。

三、核心组成：三个阶段各自的职责

3.1 预训练：建立语言能力底座

  • 数据：海量无标注文本，如网页、书籍、代码语料等；
  • 目标：自监督的下一词预测，模型在预测过程中被迫学会语法、常识、推理模式；
  • 产出：一个“知识广博但行为不可控”的基座模型；
  • 特点：算力消耗最大、成本最高的阶段，通常由具备大规模训练能力的机构完成，多数开发者直接在现成基座模型上继续后续阶段。

3.2 监督微调（SFT）：教模型“按格式办事”

  • 数据：成对的“（指令，高质量回答）”样本，覆盖问答、写作、摘要、代码等多种任务；
  • 目标：沿用语言建模的损失函数，但只在指令对话数据上训练，使模型学会“看到指令，以得体的回答来响应”；
  • 特点：监督信号是具体的标准答案，因此数据生产最辛苦——标注者既要是领域内行，还要保证回答的格式、风格一致；
  • 产出：能够正常对话、听懂指令的对话模型雏形。

3.3 RLHF：让模型“自己变好”

这一阶段通常包含两个组件：

  1. 奖励模型：先用人工偏好数据（同一个问题下多个回答的优劣排序）训练出一个能自动给回答打分的模型，把人类的判断标准固化下来；
  2. 策略优化：让被训练的模型持续生成回答，由奖励模型评分，再通过策略梯度类算法（如业界通用的近端策略优化方法）更新参数，使高奖励回答的出现概率上升。

其训练循环可以概括为：模型生成回答 → 获得好坏评价 → 提升好答案概率 → 再生成、再评价。由于评价环节可以由奖励模型自动完成，这一阶段得以大规模、持续地运转。

四、工作原理：SFT与RL的本质区别

两者的根本差异在于监督信号的形态。用示意性伪代码对比：

  1. # SFT：有标准答案的监督学习
  2. for (指令 prompt, 理想回答 ideal) in 标注数据:
  3.     loss = -log P(ideal | prompt)        # 度量模型输出与标准答案的差距
  4.     更新参数，让输出逼近标准答案
  6. # RLHF：只有好坏反馈的强化学习
  7. for prompt in 指令池:
  8.     response = model.generate(prompt)         # 模型自己先作答
  9.     reward = reward_model.score(prompt, response)  # 只评价好坏，不给答案
  10.     更新参数，使高 reward 回答的生成概率上升

为什么SFT辛苦、RL省力？ SFT要求人类直接产出答案，这在专业领域意味着接近“专家写作”的成本；RL只要求人类表达偏好——“这两个回答哪个更好”是一个简单得多的判断任务，且该判断还可被奖励模型继承和放大。

为什么顺序必须是先预训练、再SFT、最后RLHF？ 这是整套范式中最关键的逻辑：

  • 强化学习只能强化模型已经有可能输出的答案。奖励信号作用于模型自身的输出分布，如果模型此时还只会自由续写、根本产不出像样的回答，那么无论给出多好的反馈，都无从着力——反馈要有意义，前提是模型先具备输出好答案的可能性；
  • SFT的作用，正是把模型的输出分布从“随机续写”拉到“合理作答”的区间，为后续强化学习提供一个可优化、可筛选的基础；
  • 因此合理的顺序是：预训练打能力底座，SFT建立行为规范，RLHF在此之上做精细的偏好对齐与质量提升。跳过中间阶段直接做RL，训练往往难以收敛或收效甚微。

五、典型应用场景

  1. 通用对话助手构建：标准的“预训练+SFT+RLHF”全流程，产出能稳定对话、风格可控的助手类产品；
  2. 垂直领域适配：在法律、医疗、金融等场景，先用领域问答对做SFT注入任务规范，再用领域专家的偏好评价做强化，使回答更符合专业标准；
  3. 输出安全与风格对齐：模型需要拒绝不当请求、保持特定语气时，很难穷举所有“标准回答”，但很容易判断“这个回答是否得体”，这正是RLHF擅长的；
  4. 工程落地中的取舍：企业实践中，若任务答案明确、数据充足，SFT往往已经够用；若答案难以穷举但好坏易判，则优先引入偏好反馈类方法。开发者既可自行搭建训练流程，也可借助云平台的通用模型精调与部署能力——例如百度智能云等主流云服务商普遍提供的模型精调、评估与托管服务，来降低工程门槛。

六、容易混淆的概念辨析

  • Fine-tune 与 SFT：微调是统称，指在预训练模型上用新数据继续训练；SFT是以“指令—回答”监督数据进行的微调，属于其中一种具体形式；
  • SFT 与 RLHF：数据形态上，前者要标准答案，后者只要优劣评价；监督信号上，前者是“逼近答案”，后者是“提升好答案概率”；成本结构上，前者写答案贵、后者评答案便宜；
  • 奖励模型与直接人工反馈：人工反馈精准但难以规模化，奖励模型把人类偏好转化为可自动打分的模块，使大规模强化学习在工程上可行；
  • 预训练与微调：预训练主要塑造“知识与能力”，微调主要塑造“行为与偏好”，二者作用层次不同、不可互相替代。

七、使用注意事项

  1. 数据质量优先：SFT数据的质量与一致性决定模型下限；偏好标注的口径统一程度直接决定奖励模型的可靠性，标注规范值得投入；
  2. 警惕奖励作弊：模型可能学会迎合奖励模型的打分偏好而非真正提升质量，需要多样化偏好数据并定期用人工评估校准；
  3. 训练稳定性：强化学习阶段对超参数敏感，可能出现输出退化或多样性下降，通常需要引入参考模型约束等通用手段控制偏移幅度；
  4. 建立评估体系：自动指标与人工评审应结合使用，覆盖事实性、安全性、风格等多个维度；
  5. 算力与成本规划：预训练成本极高，一般团队应选择在现成基座模型上开展SFT与偏好调优，并可结合参数高效微调技术降低开销；
  6. 安全合规：训练数据需关注版权、隐私与内容安全，尤其在垂直领域使用真实业务数据时。

八、总结

回到定义本身：大模型训练三阶段范式，是一套“预训练建立语言能力、SFT教会谈指令、RLHF引导输出变好”的分层训练体系。它的核心洞察在于监督信号的经济性差异——写出一个好答案远比判断一个答案好坏昂贵，因此先用SFT以较高成本建立“能输出好答案”的基础，再用RL以较低成本的反馈信号持续放大好答案的概率。适用边界同样清晰：追求完整对齐效果的大型模型训练需要三个阶段环环相扣，缺一不可；而多数应用型场景，则可以在现成基座模型上，根据任务特点在SFT与偏好反馈调优之间灵活取舍。理解这条链路，是理解现代大模型“为什么好用、如何变得更好”的关键。

最热文章