LLM的RL为何像监督学习?两阶段架构解析

作者:半吊子全栈工匠2026.11.18 11:46浏览量:0

简介:本文系统解释大模型强化学习中 rollout 与 update 两阶段训练架构的定义与原理,剖析训练与推理在硬件、显存与调度上的反向需求,并回答一个关键疑问:为什么 LLM 的 on-policy RL 在工程形态上更接近监督学习,却在理论上仍属于策略优化。读者将理解其运行机制、与监督学习的边界,以及落地时的选型与协同要点。

什么是 LLM 强化学习的两阶段训练架构

大模型强化学习(on-policy RL,以近端策略优化 PPO、组相对策略优化 GRPO 等算法为代表)指的是:把语言模型本身当作策略(policy),让它针对给定提示(prompt)自主生成回答,依据奖励信号(来自奖励模型、规则校验或偏好模型)评估回答优劣,再据此调整参数,使模型逐渐生成回报更高的输出。

在真实的大模型训练系统中,一次完整的 RL 迭代并不是”一步到位”,而是被工程化地拆分为两个界限清晰的阶段:

  • Rollout(采样生成)阶段:给定一批 prompt,模型自回归地生成完整回答,与环境交互拿到奖励,最终收集成一条条”轨迹(trajectory)”样本。
  • Update(梯度更新)阶段:以这批已生成的样本为输入,计算优势(advantage)与策略梯度,反向传播更新参数。

这种”先采样、后更新”的结构,就是 LLM 强化学习的两阶段训练架构。理解它,是回答”LLM 的 RL 到底是不是真 RL”这一疑问的前提。

为什么必须拆成两阶段:训练与推理的反向需求

理论上,生成与更新完全可以用同一个框架、同一份显存完成。但工程上几乎没有人这么做,根本原因在于:训练和推理对硬件的需求方向是相反的。

训练侧的特征:

  • 需要额外存储梯度,以及优化器状态(如 Adam 类优化器的动量 m 与方差 v),显存占用通常达到模型参数本身的 3~4 倍;
  • 计算以稳定、大块的矩阵乘为主,追求可预测的持续高吞吐;
  • 依赖参数分片、张量并行、流水线并行等分布式并行策略,把巨大模型切到多卡多机上训练。

推理(采样)侧的特征:

  • 不需要梯度和优化器状态,显存主要用于承载权重与 KV Cache;
  • 需要管理不断增长的 KV Cache,支持动态批处理、连续批处理(continuous batching)等调度,以尽量打满 GPU 利用率;
  • 更关注时延、吞吐与并发,而非梯度计算的稳定性。

为训练设计的分布式框架与为推理设计的高吞吐引擎,内核优化目标完全不同。把两件事强行塞进一个框架,结果往往是两边都做不好。于是工业界形成了一个务实共识:让推理引擎专职负责采样,让训练引擎专职负责更新,二者通过参数同步(把训练侧更新后的权重同步给推理侧)连接起来。

两阶段如何协同运行

一轮迭代的典型流程如下(通用示意):

  1. # 一轮 on-policy RL 训练迭代的通用伪代码
  2. for iteration in range(N):
  3. # ===== Rollout 阶段(推理引擎负责) =====
  4. prompts = sample_prompts(batch_size)
  5. responses = policy.generate(prompts) # 自回归采样生成回答
  6. rewards = reward_fn(prompts, responses) # 环境/奖励模型打分
  7. trajectories = collect(prompts, responses, rewards)
  8. # ===== 参数同步 =====
  9. sync_weights(target_policy, policy) # 将当前策略权重同步给采样侧
  10. # ===== Update 阶段(训练引擎负责) =====
  11. advantages = compute_advantages(trajectories) # 优势估计/组内归一化
  12. for _ in range(K_epochs):
  13. ratio = policy_prob / old_policy_prob # 重要性采样比率
  14. loss = clipped_objective(ratio, advantages) # 带裁剪的目标函数
  15. loss.backward()
  16. optimizer.step()

这里有两个工程要点:一是采样与更新之间存在时间差,样本相对当前策略会略有”陈旧”;二是因此需要用重要性采样比率等机制做纠偏,这也是 PPO 裁剪目标、GRPO 组内相对优势的用武之地。

为什么它”看起来”像监督学习

这正是”LLM 的 RL 不是真 RL”这一直觉的来源:

  • 在 Update 阶段,rollout 产出的样本一旦生成就相对固化,计算梯度的过程”给定输入、给定信号、算损失、更新参数”,在形态上与”输入-目标-损失”的监督学习高度相似;
  • 采样与更新在物理上分离,中间隔着权重同步与调度,天然形成”先造数据、再拟合”的节奏;
  • 从一次迭代的局部视角看,模型确实是在对一批”自己刚刚生成的数据”做类似监督式的拟合。

因此,把 LLM RL 形容为”带奖励信号的自监督 / 半在线学习”,在工程观察层面并不夸张。

为什么它在理论上仍是强化学习

尽管形态接近监督学习,LLM RL 与监督学习存在本质区别:

  • 数据来源不同:监督微调(SFT)拟合的是人工标注的目标 token 序列;而 RL 的样本来自策略自身的采样。
  • 优化目标不同:SFT 最小化的是与固定标签的交叉熵;RL 最大化的是期望回报(标量奖励),模型需要在自采样空间中探索”如何得到更高奖励”。
  • 存在纠偏机制:通过重要性采样比率、优势归一化、裁剪等手段,在样本陈旧时修正梯度方向,这是监督学习不具备的。

所以更准确的结论是:LLM 的 on-policy RL 处于”监督学习形态”与”强化学习本质”之间的连续谱上。工程实现让它形似监督学习,但它仍属于以策略自身采样和期望回报为核心的策略优化方法。称其为”就是监督学习”,忽略了两者的关键分野;称其为与经典在线 RL 完全等同,又低估了两阶段架构带来的工程妥协。

典型应用场景

  • 对齐训练:基于人类或 AI 偏好的对齐(RLHF 及各类偏好优化),让模型输出更符合有用、无害、诚实等目标;
  • 可验证奖励场景:数学推理、代码生成等有明确对错的任务,可用规则/验证器自动打分,降低对奖励模型的依赖;
  • 推理能力提升:通过强化学习激励模型进行更长链路的推理与自我纠错;
  • 领域定制:在垂直领域用奖励信号塑造模型的输出风格与偏好。

在云上落地时,这类负载通常依赖通用的容器平台、分布式存储、高速网络、监控告警等基础能力,来承载推理引擎与训练引擎的协同调度。

相关概念区别

  • On-policy vs Off-policy:on-policy 指采样策略与被优化策略基本一致(数据新鲜);off-policy 指用与当前策略不同的旧数据训练(需更强纠偏)。LLM 的两阶段架构由于存在参数同步时间差,处于两者之间,需要重要性采样来弥合。
  • RL vs SFT:SFT 是模仿给定答案的监督拟合;RL 是从奖励中优化策略,探索空间更大、数据由模型自产。
  • Rollout vs 线上推理服务:rollout 是训练闭环中的批量采样,强调吞吐与多样性;线上推理服务强调低时延与稳定并发,二者虽都用推理引擎,但目标不同。

使用注意事项

  • 吞吐匹配:采样阶段与更新阶段的算力需求不同,若两侧不匹配会形成”木桶效应”,拖慢整体迭代;需要合理配比资源与批大小。
  • 样本陈旧度:参数同步越慢、复用轮数(K_epochs)越多,样本越陈旧,梯度偏差越大;应结合重要性采样裁剪与超参调优加以控制。
  • 采样成本:生成阶段是自回归的长尾负载,算力与时间开销可观,需在采样效率(批处理、缓存复用)上做优化。
  • 奖励质量:奖励信号(奖励模型或规则)的可靠性直接决定训练方向,奖励设计不当会导致”奖励攻击”等退化现象。
  • 稳定性:RL 训练对超参敏感,建议从小规模、可复现的实验开始,配合完善的监控告警与实验记录。

总结

LLM 强化学习的两阶段训练架构,指的是把”rollout 采样”与”update 更新”在工程上分离、并由参数同步连接的训练范式。它的出现,源于训练与推理对硬件、调度与显存的反向需求——推理引擎专职采样,训练引擎专职更新,各司其职。正因为数据先被采样固化、更新阶段形态近似拟合,它才”看起来”像监督学习;但从数据来源(策略自采样)、优化目标(期望回报)与纠偏机制(重要性采样)看,它本质上仍属于策略优化。理解这一”形态像监督学习、本质仍是 RL”的双面性,既能避免概念混淆,也能帮助我们在工程选型、资源配比与训练稳定性上做出更合理的判断。