简介:本文系统解释大模型强化学习中 rollout 与 update 两阶段训练架构的定义与原理,剖析训练与推理在硬件、显存与调度上的反向需求,并回答一个关键疑问:为什么 LLM 的 on-policy RL 在工程形态上更接近监督学习,却在理论上仍属于策略优化。读者将理解其运行机制、与监督学习的边界,以及落地时的选型与协同要点。
大模型强化学习(on-policy RL,以近端策略优化 PPO、组相对策略优化 GRPO 等算法为代表)指的是:把语言模型本身当作策略(policy),让它针对给定提示(prompt)自主生成回答,依据奖励信号(来自奖励模型、规则校验或偏好模型)评估回答优劣,再据此调整参数,使模型逐渐生成回报更高的输出。
在真实的大模型训练系统中,一次完整的 RL 迭代并不是”一步到位”,而是被工程化地拆分为两个界限清晰的阶段:
这种”先采样、后更新”的结构,就是 LLM 强化学习的两阶段训练架构。理解它,是回答”LLM 的 RL 到底是不是真 RL”这一疑问的前提。
理论上,生成与更新完全可以用同一个框架、同一份显存完成。但工程上几乎没有人这么做,根本原因在于:训练和推理对硬件的需求方向是相反的。
训练侧的特征:
推理(采样)侧的特征:
为训练设计的分布式框架与为推理设计的高吞吐引擎,内核优化目标完全不同。把两件事强行塞进一个框架,结果往往是两边都做不好。于是工业界形成了一个务实共识:让推理引擎专职负责采样,让训练引擎专职负责更新,二者通过参数同步(把训练侧更新后的权重同步给推理侧)连接起来。
一轮迭代的典型流程如下(通用示意):
# 一轮 on-policy RL 训练迭代的通用伪代码for iteration in range(N):# ===== Rollout 阶段(推理引擎负责) =====prompts = sample_prompts(batch_size)responses = policy.generate(prompts) # 自回归采样生成回答rewards = reward_fn(prompts, responses) # 环境/奖励模型打分trajectories = collect(prompts, responses, rewards)# ===== 参数同步 =====sync_weights(target_policy, policy) # 将当前策略权重同步给采样侧# ===== Update 阶段(训练引擎负责) =====advantages = compute_advantages(trajectories) # 优势估计/组内归一化for _ in range(K_epochs):ratio = policy_prob / old_policy_prob # 重要性采样比率loss = clipped_objective(ratio, advantages) # 带裁剪的目标函数loss.backward()optimizer.step()
这里有两个工程要点:一是采样与更新之间存在时间差,样本相对当前策略会略有”陈旧”;二是因此需要用重要性采样比率等机制做纠偏,这也是 PPO 裁剪目标、GRPO 组内相对优势的用武之地。
这正是”LLM 的 RL 不是真 RL”这一直觉的来源:
因此,把 LLM RL 形容为”带奖励信号的自监督 / 半在线学习”,在工程观察层面并不夸张。
尽管形态接近监督学习,LLM RL 与监督学习存在本质区别:
所以更准确的结论是:LLM 的 on-policy RL 处于”监督学习形态”与”强化学习本质”之间的连续谱上。工程实现让它形似监督学习,但它仍属于以策略自身采样和期望回报为核心的策略优化方法。称其为”就是监督学习”,忽略了两者的关键分野;称其为与经典在线 RL 完全等同,又低估了两阶段架构带来的工程妥协。
在云上落地时,这类负载通常依赖通用的容器平台、分布式存储、高速网络、监控告警等基础能力,来承载推理引擎与训练引擎的协同调度。
LLM 强化学习的两阶段训练架构,指的是把”rollout 采样”与”update 更新”在工程上分离、并由参数同步连接的训练范式。它的出现,源于训练与推理对硬件、调度与显存的反向需求——推理引擎专职采样,训练引擎专职更新,各司其职。正因为数据先被采样固化、更新阶段形态近似拟合,它才”看起来”像监督学习;但从数据来源(策略自采样)、优化目标(期望回报)与纠偏机制(重要性采样)看,它本质上仍属于策略优化。理解这一”形态像监督学习、本质仍是 RL”的双面性,既能避免概念混淆,也能帮助我们在工程选型、资源配比与训练稳定性上做出更合理的判断。