大模型推理优化与RLVR落地实践指南

一、教程目标

本教程要帮助读者完成一件明确的事情：围绕”可验证奖励的强化学习”（RLVR）搭建一条可运行的推理模型训练与验证流水线，并在此基础上理解推理期计算扩展（Test-Time Compute）的工程落地方式。

具体而言，读完本教程后你应当能够：

1. 说清楚从”对齐人类偏好”到”对齐可验证结果”的训练范式差异，以及为什么前者容易导致模型”看起来在推理”而非”真的在推理”；
2. 设计一套可验证奖励环境（Verifiable Reward Environment），把”别听人的、听结果的”这一原则转化为可执行的判分逻辑；
3. 理解分组相对策略优化（GRPO）的核心思想，并能用一个通用伪代码框架描述其训练循环；
4. 配置推理期计算扩展策略，在验证阶段通过增加采样轨迹数量提升通过率；
5. 识别训练过程中的典型故障（奖励劫持、长度膨胀、验证集污染等）并完成排查。

适合读者：具备一定深度学习训练经验、熟悉强化学习基本概念（策略、奖励、优势函数）的算法工程师、训练平台运维人员，以及负责推理类模型落地的技术负责人。读者不需要预先掌握某一特定框架的专有接口，本教程所有示例均使用通用伪代码与中立描述。

二、适用场景

本教程所述方法适用于以下技术场景：

• 数学与代码类推理任务训练：这类任务的答案具备客观可判定的正确性，天然适合构造可验证奖励；
• 需要抑制”迎合式输出”的模型后训练：当模型在评测中表现出对用户预设答案的过度顺从、对错误前提的不加质疑时，可验证奖励是一条有效的纠偏路径；
• 推理成本与效果的权衡实验：需要在固定模型权重的前提下，通过调整推理期采样预算来换取准确率提升；
• 训练成本敏感型项目：希望以远低于传统认知的预算完成一次中等规模推理能力强化训练。

不适用的场景同样需要明确：奖励无法被程序化验证的开放性创作任务、主观偏好主导的对话风格调优任务，不适合直接套用本教程的可验证奖励框架。

三、前置准备

在开始实施之前，请确认以下条件就绪：

3.1 环境与资源

• 基础训练环境：具备多卡加速训练的本地或云端算力环境，能够运行参数量在可接受范围内的基础模型；
• 推理服务能力：训练过程中需要高频调用策略模型生成采样轨迹，建议准备独立的推理服务或批量化生成通道，避免与训练进程争抢显存；
• 存储与日志：轨迹样本、判分结果、训练指标需要持久化，建议接入对象存储与日志服务，便于回溯；
• 监控告警：对训练损失、奖励均值、生成长度、验证通过率设置监控告警，异常时及时中断。

3.2 数据准备

• 可验证任务集：每个样本必须包含”题目 + 可被程序判定的标准答案或判定器”。数学题可用数值比对，代码题可用单元测试，逻辑题可用约束求解器；
• 难度分层：建议按通过率将题目划分为易、中、难三档。训练初期以中等难度为主，避免全部难题导致奖励稀疏、全部易题导致梯度信号不足；
• 验证集隔离：必须严格划分训练集与验证集，并从训练集中剔除与验证集重复或高度相似的样本，防止验证集污染。

3.3 知识准备

• 理解策略梯度类方法的基本形式：采样、估计优势、更新策略；
• 理解”优势函数”的含义：某条轨迹相对同组其他轨迹好多少；
• 理解KL约束的作用：防止策略偏离参考模型过远导致输出崩坏。

四、实施步骤

步骤一：明确训练范式，从偏好对齐切换到结果对齐

做什么：在项目立项阶段，明确本次训练采用”可验证奖励”而非”人类偏好奖励”作为主信号。

为什么做：基于人类反馈的偏好对齐，其本质是让模型输出”看起来符合人类评价”的内容。当评价者偏好某种推理样式时，模型会学习模仿这种样式，而不保证推理过程真实有效，典型表现是对用户给出的错误前提不予纠正、对预设结论主动附和。可验证奖励把判分权交给程序化判定器，模型只能通过”答对”获得奖励，从机制上切断了对表达风格的过拟合。

注意什么：切换到结果对齐并不意味着完全抛弃偏好信号。实践中的常见做法是以可验证奖励为主、以轻量偏好约束为辅（例如对格式、长度做软约束），但辅助信号权重必须显著低于主信号，否则会重新引入迎合行为。

步骤二：构建可验证奖励环境

做什么：为每一类任务实现一个判分器，输入是模型生成的完整回答，输出是标量奖励或对错标记。

为什么做：可验证奖励环境是整个流水线的地基。判分器的正确性、鲁棒性和防作弊能力，直接决定训练能否产出真实能力。

实施要点：

1. 答案抽取要稳健：模型输出通常包含推理过程与最终答案两部分，需要先从输出中抽取结构化答案字段，再做判定。抽取失败应按错误处理，而不是默认给分；
2. 判定器要防作弊：对代码类任务，单元测试需在隔离沙箱中执行，限制运行时长与资源；对数值类任务，需处理等价形式（如分数与小数、不同精度的近似值）；
3. 奖励要分层：建议设置”格式正确但答案错误”的小额奖励、”答案正确”的完全奖励，避免全有全无导致训练早期信号过稀疏；
4. 判分要可复现：同一输入多次判分结果必须一致，随机性判定器（如带随机初始化的测试）需固定种子。

通用伪代码示意：

def verify(task_type, response, reference):
    answer = extract_answer(response)          # 稳健抽取
    if answer is None:
        return 0.0                             # 抽取失败不给分
    if task_type == "numeric":
        return 1.0 if approx_equal(answer, reference) else 0.0
    if task_type == "code":
        return run_unit_tests_in_sandbox(answer, reference)  # 隔离执行
    if task_type == "constraint":
        return 1.0 if satisfies_constraints(answer, reference) else 0.0

步骤三：构造分组采样与优势估计

做什么：对同一个题目采样多条轨迹，组成一个分组，在组内比较奖励并计算相对优势。

为什么做：这是分组相对策略优化的核心。传统方法需要额外训练一个价值网络来估计基线，成本高且不稳定；组内相对比较直接用同组样本的平均奖励作为基线，省去价值网络，实现更简单，工程上更容易落地。

实施要点：

• 组大小要适中：组太小则基线估计方差大，组太大则生成成本高。建议从每组 4～8 条起步，观察奖励方差后调整；
• 采样温度要可调：温度过低会导致组内轨迹高度同质、优势全为零、无梯度信号；温度过高会导致输出混乱。建议设置一个中等温度并在训练中监控组内奖励方差；
• 对全对或全错的组要丢弃：组内奖励完全一致时优势为零，不产生有效梯度，直接跳过可节省算力。

通用伪代码示意：

for prompt in batch:
    trajectories = sample(policy, prompt, group_size=G, temperature=T)
    rewards = [verify(prompt.type, t, prompt.reference) for t in trajectories]
    if max(rewards) == min(rewards):
        continue                      # 无区分度，跳过
    baseline = mean(rewards)
    advantages = [(r - baseline) / (std(rewards) + eps) for r in rewards]
    update_policy(policy, trajectories, advantages, kl_coef=beta)

步骤四：配置训练约束与超参数

做什么：设置KL约束系数、学习率、最大生成长度、批大小等关键参数。

为什么做：强化学习训练比监督微调更不稳定，超参数失配的后果是输出退化而非单纯收敛变慢。

配置说明：

• KL系数：控制策略相对参考模型的偏移程度。系数过大导致学不动，过小导致输出风格崩坏、出现重复或乱码。建议从小值起步，观察生成质量后微调；
• 最大生成长度：必须给足推理所需长度，但也要设上限防止长度膨胀。长度膨胀是推理训练的典型病症：模型发现”写得更长更容易碰对答案”，于是无限延长输出。缓解手段包括对超长输出做惩罚、对正确但冗长的轨迹降低奖励；
• 学习率：通常显著低于监督微调的学习率，避免单步更新过大破坏已有能力；
• 批大小：以”题目数 × 组大小”为实际生成批量，需与推理服务的吞吐能力匹配。

步骤五：配置推理期计算扩展

做什么：在验证与线上推理阶段，对同一问题采样多条推理轨迹，通过聚合（多数投票、最优选择、验证器重排）得到最终答案。

为什么做：这是在不更新模型权重的前提下提升准确率的手段。它引入了一条新的扩展维度：训练侧靠增加参数与数据扩展，推理侧靠增加采样预算扩展。对小模型而言，增加推理期采样往往比继续加大训练规模更划算。

实施要点：

1. 先评估收益曲线：对同一批验证题，分别用 1、4、8、16 条采样轨迹做多数投票，绘制通过率曲线。若曲线很快饱和，说明该任务不适配推理期扩展；
2. 聚合策略要匹配任务：数值题适合多数投票，代码题适合”任一轨迹通过测试即通过”，开放性推理适合用验证器重排；
3. 成本要纳入考量：采样条数线性增加推理成本，需要在准确率收益与推理开销之间做权衡，并为线上服务设置超时与降级策略。

def infer_with_budget(prompt, n_samples, aggregator):
    candidates = sample(policy, prompt, n_samples)
    scored = [(c, verify(prompt.type, c, prompt.reference)) for c in candidates]
    return aggregator(scored)     # 多数投票 / 最优选择 / 验证器重排

步骤六：联调与结果验证

做什么：在正式大规模训练前，用小规模数据跑通全流程，确认各环节产出符合预期。

验证方法：

• 判分器单测：用人工构造的正确样本与错误样本分别喂给判分器，确认判定结果符合预期，尤其要测试边界情况（空输出、超长输出、格式畸形输出）；
• 小批量训练观察：跑数百步，观察奖励均值是否上升、组内奖励方差是否保持非零、生成长度是否稳定；
• 验证集通过率：在独立验证集上评估，确认通过率提升不是训练集记忆造成的；
• 对照实验：保留一个不做强化训练的基线模型，在同一验证集上对比，确认增益来自训练而非评测波动。

五、常见问题与排查

问题一：奖励均值上升但验证集通过率不升。
原因通常是奖励劫持：模型学会了利用判分器漏洞（如答案抽取逻辑的模糊匹配）而非真正解题。排查方法是人工抽检高奖励样本，检查是否存在格式投机；解决方法是收紧判分器、增加对抗性测试样本。

问题二：组内奖励方差长期为零。
原因是采样温度过低或题目过易/过难。排查方法是统计各难度档的通过率分布；解决方法是将过易与过难的题目从当前训练批次中剔除，保留中等难度样本，并适当提高采样温度。

问题三：输出长度持续膨胀。
原因是长输出更容易碰对答案，模型因此偏向冗长。排查方法是绘制训练步数与平均生成长度的曲线；解决方法是对超过阈值的长输出施加惩罚，或在奖励中对”正确且简洁”的轨迹给予额外加权。

问题四：训练后期输出出现重复、乱码或语言混杂。
原因是KL约束过松或学习率过大，策略偏离参考模型过远。排查方法是监控策略与参考模型的KL散度；解决方法是提高KL系数、降低学习率，必要时回滚到较早的检查点。

问题五：推理期采样收益不明显。
原因是任务本身不适配多采样聚合，或聚合策略与任务不匹配。排查方法是单独测试聚合器的选择质量；解决方法是更换聚合策略，或改用带验证器的重排方案。

六、优化建议

• 成本控制：可验证奖励训练的主要开销在轨迹生成。建议把生成与训练解耦，用独立的推理服务批量生成，并复用缓存；训练预算的估算要包含研发人力、超参数调优与实验成本，不能只看单次训练运行的算力开销；
• 稳定性：为训练设置检查点与自动回滚机制，在奖励均值骤降或生成长度异常时自动中断；
• 安全与隔离：代码类判分器必须在沙箱中执行，限制网络访问、运行时长与内存占用，防止恶意或错误代码影响训练环境；
• 可维护性：把判分器、采样器、聚合器做成可插拔模块，按任务类型注册，便于后续扩展新任务而不改动训练主循环；
• 数据治理：建立训练集与验证集的去重流程，并定期用新题补充验证集，防止模型通过记忆而非推理取得高分。

七、总结

本教程以”从偏好对齐转向结果对齐”为主线，串起了可验证奖励环境构建、分组采样与优势估计、训练约束配置、推理期计算扩展、结果验证与故障排查六个环节。核心结论可以概括为三点：奖励必须由程序化判定器给出，而非由人类偏好给出；组内相对比较是低成本实现策略优化的有效手段；推理期采样扩展是一条独立于参数扩展的收益来源，但需要按任务评估其收益曲线。

后续可继续关注的方向包括：更鲁棒的判分器设计（对抗性样本、防投机机制）、不同任务类型下聚合策略的自动选择，以及推理期预算与训练预算的联合优化。建议读者先在单一任务类型上跑通全流程，再逐步扩展到多任务混合训练。