简介:本文聚焦面向大模型推理的强化学习,解释策略、奖励、价值与优势,梳理REINFORCE、PPO、GRPO等算法差异,并提供奖励设计、选型检查表与排错清单,帮助读者在复杂推理、代码、数学与工具调用任务中合理选择训练方案。
面向大模型推理的强化学习,是指在预训练与监督微调之后,以“提升推理能力”为目标的强化学习后训练方法。它不把语言模型简单当作分类器,而是把生成过程看作策略:给定提示词,模型采样生成候选回复,系统根据结果质量给出奖励,再用奖励信号更新参数,使模型在后续采样中更倾向产生正确、可验证、步骤更充分的答案。
需要区分两个目标:一是偏好对齐,即让输出更符合人类喜好、语气、格式与安全要求;二是推理优化,即让模型在数学、代码、逻辑规划等复杂任务中获得更高正确率。前者常由RLHF、奖励建模等流程完成;后者更强调可验证结果,例如答案是否正确、代码是否通过测试、步骤是否满足约束。本文讨论的“面向推理的强化学习”,核心是后者,但也会借用偏好对齐中的稳定训练技术。
从技术链路看,它通常位于:预训练 -> 监督微调 -> 强化学习后训练。监督微调解决“会按要求回答”,强化学习进一步解决“在开放或复杂问题中表现更好”。
复杂推理任务通常有三个特点。
第一,标准答案难以逐条标注。数学题、代码题、多步规划任务可以给出最终检查标准,但中间推理过程很多,人工逐步标注成本高。
第二,结果可评估。最终答案是否命中、代码是否编译通过、测试用例是否成功、格式是否符合要求,都可以转化为奖励。
第三,需要探索。模型只有不断生成不同解法,才可能发现更短路径、更稳推理链或更强工具使用策略。强化学习允许通过采样探索候选解,再根据奖励强化有效行为。
因此,这类任务不适合只靠监督学习拟合固定答案,而适合用奖励信号做端到端优化。
在强化学习中,几个概念经常被提到。
策略,是模型在当前输入下输出不同回答的概率分布。对语言模型来说,策略就是模型本身,参数θ决定下一个token的概率。
奖励,是对一条回复或一个中间步骤的评分。它可以是规则奖励,例如答案是否正确;也可以是模型奖励,即奖励模型打分。
价值函数,用来估计在某个状态下未来预期收益。在LLM训练中,状态可以理解为提示词加已生成内容,价值函数帮助判断当前采样是否值得继续优化。
优势,是当前动作相对平均水平的超出部分。简单说,如果某条回答比同组回答更好,优势为正,模型会提高它的生成概率;如果更差,优势为负,模型会降低它的概率。优势的作用不仅是判断好坏,更重要的是降低策略梯度方差,让训练更稳定。
在语言生成中,理论上每个token都可以是动作,但实践中很难给单个token赋有意义奖励。更常见做法是对完整回答给一个整体奖励。若强行逐token奖励,除结尾外大多为零,会增加建模复杂度。因此多数训练会采用“提示词加完整回答”的轨迹形式。
REINFORCE是最基础的策略梯度方法。它的核心思想是:如果一条回答获得高奖励,就提高生成它的概率;如果奖励低,就降低概率。与监督学习不同,监督学习是向标签靠拢,强化学习是按奖励权重调整概率。
基础形式可以写成:
maximize E[r(x, y)]y ~ πθ(· | x)
其中x是提示词,y是模型生成的回复,r(x,y)是奖励。
示意性代码如下,注意这是简化版,实际训练应按批更新并控制方差:
# 仅示意:实际训练需要批量采样、baseline/advantage、裁剪与KL约束for batch in dataloader:prompts = batch.promptsresponses = model.generate(prompts)rewards = reward_fn(prompts, responses)# 使用baseline或价值网络计算优势,避免直接用原始奖励baseline = value_model.score(prompts) if use_value_model else rewards.mean()advantages = rewards - baselinelog_probs = model.log_prob(prompts, responses)loss = -(advantages.detach() * log_probs).mean()loss.backward()optimizer.step()
这段代码的关键不是某一行公式,而是三个工程要点:第一,奖励往往不直接作为梯度权重,而是先转化为优势;第二,需要基线或价值函数降低方差;第三,需要按批更新,并配合裁剪、KL约束、学习率调度等机制,否则容易训练崩塌。
第一代面向LLM的强化学习以PPO为代表。PPO最初用于机器人控制和游戏环境,后来被适配到RLHF中。它通常包含策略模型、奖励模型和值函数模型。通过裁剪概率比、限制策略更新幅度,PPO在偏好对齐和复杂任务中都较稳定。但PPO也带来较高成本:需要额外训练或调用奖励模型,还要维护价值网络与多个采样批次。
在推理能力提升需求下,第二代方法出现。它们并不完全推翻PPO,而是在价值模型、优势估计和采样效率上做简化或改造。典型代表包括GRPO、Reinforce++等。
| 方法 | 核心特点 | 价值模型 | 优势估计 | 适合任务 | 主要成本 |
|---|---|---|---|---|---|
| REINFORCE | 基础策略梯度,概念简单 | 通常无 | 直接用奖励,方差大 | 教学或小任务 | 低,但不稳 |
| PPO | 经典稳定算法,常用于RLHF | 常需critic | GAE或裁剪优势 | 偏好对齐、复杂推理 | 中到高 |
| GRPO | 对同一提示采样多条回答,用组内相对奖励估计优势 | 通常不需要独立价值网络 | 组内奖励归一化 | 数学、代码等可验证推理 | 高采样,低价值模型开销 |
| Reinforce++等 | 在REINFORCE基础上增强基线、约束或归一化 | 可简化 | 基线或组内统计 | 小团队推理优化 | 中 |
需要强调,GRPO常被用于推理任务,是因为它减少了对价值函数的依赖。对同一问题生成一组回答,比较组内相对表现,可以避免单独训练或推理一个价值模型。其代价是采样量更大,但推理任务往往可以使用规则奖励或可验证奖励,因此总体工程链路反而更简洁。
PPO与GRPO的选择,不是简单的新旧替代,而是任务匹配问题。若奖励模型成熟、需要精细偏好控制,PPO仍合适;若任务结果可验证、希望降低价值模型开销,GRPO更值得评估。
| 奖励类型 | 定义 | 优点 | 风险 | 适用条件 |
|---|---|---|---|---|
| 整体奖励 | 对完整回答打分 | 实现简单,贴近最终结果 | 信号稀疏,难定位错误 | 答案可验证、代码可测试 |
| 过程奖励 | 对中间步骤打分 | 定位更细,有助于推理链优化 | 标注成本高,奖励模型难校准 | 复杂推理、分步规划 |
| 逐token奖励 | 对每个token或短语赋分 | 理论精细 | LLM中难以定义,易噪声 | 特殊受控任务,一般不首选 |
实际落地中,常见组合是“整体奖励为主,过程奖励为辅”。例如代码任务可用测试通过率作为主奖励,再对明显语法错误、格式错误加惩罚。数学任务可用答案正确性作为主奖励,再对步骤格式、单位错误加少量惩罚。
奖励设计最大风险是奖励欺骗。模型可能学会刷奖励,而不是真正提升能力。例如只追求长度、重复关键词、猜测奖励模型偏好,甚至生成看似合理但错误的答案。缓解方式包括:保留人工抽检、加入反向约束、使用多种奖励源交叉验证、定期检查失败样本。
面向推理的强化学习常见于以下场景:
选型时可用检查表:
| 检查项 | 优先SFT | 优先RLHF | 优先推理RL |
|---|---|---|---|
| 基座是否具备基本能力 | 不足,先补SFT | 已有指令遵循能力 | 已有推理基础 |
| 任务是否有标准答案 | 有固定答案 | 不一定 | 常有可验证结果 |
| 奖励是否可自动获得 | 通常不需要 | 需要奖励模型 | 规则/测试奖励更佳 |
| 算力是否充足 | 较低 | 中高 | 中高,取决于采样 |
| 稳定性要求 | 高 | 高 | 需要监控 |
| 典型目标 | 学会格式与基础能力 | 符合偏好与安全 | 提升正确率与推理深度 |
一个可执行判断是:如果模型连基本格式和指令遵循都差,先做SFT;如果输出可用但用户偏好不稳定,考虑RLHF;如果任务有明确对错,例如代码测试或数学答案,优先评估推理RL。
面向大模型推理的强化学习,是在预训练和SFT之后,通过奖励信号优化模型生成策略的一类方法。它把语言模型视为策略,把提示词和生成内容视为轨迹,把结果质量转化为奖励,再用策略梯度、优势估计和约束机制完成训练。REINFORCE是起点,PPO是经典稳定方案,GRPO、Reinforce++等则是面向推理任务的效率优化路线。
读者做方案决策时,可以按三步走:第一,先判断基座是否具备基础能力,不足则先SFT;第二,若任务结果可验证,优先设计规则奖励,评估GRPO等低价值模型开销方案;第三,若需要细粒度偏好控制,再考虑PPO或奖励模型驱动的RLHF。奖励设计、训练稳定性和采样成本,是决定项目能否落地的关键。通过合理选型与持续排错,强化学习才能从“能训练”走向“真提升”。