简介:本文系统对比大模型后训练阶段的两种主流对齐方法——基于人类反馈的强化学习(RLHF)与基于可验证奖励的强化学习(RLVR)。围绕奖励信号来源、算法选择、适用任务、成本结构与潜在偏差等维度展开分析,帮助开发者与架构师理解二者的本质差异,并形成清晰的条件化选型判断,同时给出迁移与落地时的注意事项。
在大语言模型的训练链条中,”预训练”解决了模型”知道什么”的问题,但并没有解决模型”该怎么回答”的问题。为了把预训练得到的”下一个词预测器”塑造成一个有用、可控、符合人类意图的助手,业界普遍会在预训练之后引入”后训练”(Post-training)阶段,而强化学习正是这一阶段的核心手段之一。
过去几年,基于人类反馈的强化学习(RLHF)几乎是行业默认的对齐方案。但它在实践中逐渐暴露出一个结构性缺陷:奖励信号来自人类偏好,而人类偏好本身带有主观性、不一致性,甚至容易被模型的表面话术所”取悦”。这就带来一个尖锐问题——模型学到的可能不是”正确地推理”,而是”看起来像是在推理”。随着对推理能力需求的提升,一条以客观结果为导向的新路径——基于可验证奖励的强化学习(RLVR)——快速崛起,成为大模型推理能力训练的关键范式。理解这两条路径的差异,是当前做模型选型与后训练方案设计绕不开的一环。
RLHF 的基本流程通常包含三个阶段:
RLHF 的奖励来自”人类觉得好不好”。它擅长处理那些没有唯一标准答案、更依赖主观判断的任务,例如语气是否得体、回答是否有帮助、是否安全无害等。
RLVR 的核心思想是:不听人的,听结果的。它把奖励信号从”人类主观偏好”替换为”可被程序自动验证的客观结果”。典型场景包括:
只要一个问题存在”可被机器判定的正确性”,就可以绕开训练奖励模型的环节,直接用验证器给出的 0/1 或连续分数作为奖励。RLVR 常与一类称为 GRPO(组相对策略优化) 的算法配合使用。
GRPO 可以简单理解为 RLVR 场景中常用的一种策略优化算法。相较于传统 PPO,它去掉了独立的价值网络(Critic),改为对同一个问题采样多条回答,在”组内”比较相对优劣来估计优势函数。这样做降低了显存与训练复杂度,并且天然契合”可验证奖励”的判定方式,因此成为推理模型后训练中被广泛采用的技术路线之一。
尽管奖励来源不同,RLHF 与 RLVR 在方法论层面有大量共通之处:
这是两者最根本的区别。RLHF 的奖励来自训练出来的奖励模型,是对人类偏好的近似;RLVR 的奖励来自外部验证器,是对客观结果的判定。前者是”软”的、主观的,后者是”硬”的、客观的。这直接决定了模型是倾向于”取悦人类”还是”追求真理”。
RLHF 适合开放性、主观性强、难以自动判定的任务,如对话、写作润色、安全性对齐;RLVR 适合有明确正误、可自动判定的任务,如数学、代码、形式化推理。对于既没有人类偏好数据、又没有验证器的任务,两种方法都会力不从心。
RLHF 需要额外训练并维护一个奖励模型,流程更长、组件更多,且奖励模型本身可能被过度优化;RLVR 省去奖励模型,改用规则或程序验证,流程更简洁,但需要为每类任务准备可靠的验证逻辑,这部分工程量在数据侧而非模型侧。
RLHF 天然存在”阿谀奉承”(Sycophancy)倾向——模型可能学会迎合用户观点而非给出正确结论,因为它优化的是”人是否满意”;RLVR 由于奖励客观,能在一定程度上抑制这种行为,让模型更关注结果正确性。但这也意味着 RLVR 在主观质量、价值观对齐这类问题上并不占优。
RLHF 的成本主要在人工标注偏好数据与训练奖励模型,随规模增长人工成本高;RLVR 的成本主要在设计验证器与生成可验证数据集,一旦验证逻辑就绪,可大规模自动化,边际成本较低。因此在推理类任务上,RLVR 展现出更好的规模化潜力,并催生了”测试时计算”(Test-time Compute)这一新的扩展维度——让模型在推理阶段投入更多计算来换取更高准确率。
| 对比维度 | RLHF | RLVR |
|---|---|---|
| 奖励来源 | 人类偏好训练出的奖励模型 | 可程序化验证的客观结果 |
| 奖励性质 | 主观、软信号 | 客观、硬信号 |
| 典型任务 | 对话、写作、安全对齐 | 数学、代码、逻辑推理 |
| 是否需奖励模型 | 需要 | 通常不需要 |
| 常用算法 | PPO 等 | GRPO 等 |
| 主要风险 | 阿谀奉承、奖励模型被过度优化 | 验证器漏洞、验证覆盖不足 |
| 扩展方向 | 依赖人工数据规模 | 可自动化,易规模化,含测试时计算 |
| 成本重点 | 人工标注成本 | 验证器与数据集构建成本 |
需要强调的是,不存在绝对更优的方案,选择取决于任务性质、数据可得性与工程能力。
如果计划在项目中从一种范式切换或叠加到另一种,需重点关注:
RLHF 与 RLVR 的分歧,本质上是“讨好人类”与”追求真理”两种对齐哲学的体现:前者以人类偏好为锚点,擅长主观质量与安全体验;后者以客观验证为准绳,擅长推理正确性与规模化。理解它们各自的奖励来源、算法选择、适用任务与成本结构,是做出合理技术决策的前提。在实践中,多数成熟系统并非单选,而是根据任务特性将两者组合使用——这也正是当前大模型后训练演进的主流方向。