简介:本文以强化学习训练系统为例,说明训练引擎与推理引擎并存时的环境准备、参数配置、一致性验证、问题排查和日常运维。读者可以据此完成部署,并把训推之间的 log prob 偏差控制在可接受范围内。
本文讨论如何部署一套同时包含训练引擎和推理(rollout)引擎的强化学习后训练系统,重点说明训推一致性相关的配置与验证方法。部署完成后,系统应满足三个目标:
本文适合以下读者:负责大模型后训练平台搭建的开发者、维护 GPU 集群的运维人员、设计训练架构的技术负责人。
部署前需要理解一个基本背景。在 on-policy 策略优化中,理论上推理侧采样和训练侧更新使用的是同一策略分布,因此两侧的概率计算结果应当高度一致。实际部署中,两侧常常使用不同的数值精度、算子实现、并行切分方式,甚至不同的推理框架。这些差异会导致 log prob 出现系统性偏差。混合专家(MoE)模型的偏差更明显,因为路由决策对数值误差敏感,同一输入可能被分配到不同的专家组合。部署的目标不是消除所有差异,而是让偏差可观测、可修正、可回滚。
该部署方式通常适用于以下场景:
在上述场景中,训推偏差会直接影响策略梯度的方向和幅度。偏差越大,训练越容易出现收敛变慢、奖励波动或策略崩溃的情况。
系统通常包含以下关键模块:
| 模块 | 作用 | 部署关注点 |
|---|---|---|
| 训练引擎 | 执行前向、反向计算与参数更新 | 显存占用、并行切分方式、检查点保存 |
| 推理引擎 | 执行 rollout 采样,输出 token 与对应 log prob | 吞吐、KV 缓存显存、批处理策略 |
| 权重同步通道 | 将训练后的参数同步到推理侧 | 同步频率、网络带宽、版本号管理 |
| 路由记录模块(MoE) | 记录或回放专家选择结果 | 额外存储开销、与推理引擎的接口兼容性 |
| 修正模块 | 计算重要性采样权重并执行阈值过滤 | 阈值配置、额外计算开销 |
| 数据存储 | 保存 rollout 结果与训练样本 | 容量规划、数据生命周期 |
| 监控与日志 | 采集偏差指标、奖励、KL 散度、吞吐 | 指标维度、告警阈值 |
各模块之间存在明确的依赖关系。推理引擎依赖最新的权重版本,训练引擎依赖 rollout 数据,修正模块依赖两侧的 log prob。任何一个环节的版本错位都会放大训推偏差,因此部署时需要为每次权重同步记录版本号。
训练与推理可以共享 GPU 集群,也可以分离部署。规划时需要综合考虑以下因素:
训练侧与推理侧需要使用一致的基础依赖,包括 GPU 驱动、计算运行时、通信库和深度学习框架版本。建议把所有版本号写入部署清单,并在每次变更后重新验证。
数据类型是训推偏差的主要来源之一。部署前应明确以下内容:
精度组合一旦确定,应作为固定基线记录。随意修改精度会使历史偏差数据失去可比性。
提示词数据集需要完成清洗、去重和格式校验。验证集应单独划分,不参与训练。对于用于一致性探测的固定数据,应保存一份不可变副本,保证每次部署后的对比基于同一批数据。
部署顺序应遵循“准备环境、加载权重、配置参数、启动服务、试运行、全量运行”的逻辑。每一步都依赖前一步的结果。
步骤一:准备环境。 在所有节点上安装统一版本的依赖,并执行环境检查脚本。检查内容包括 GPU 可见性、显存容量、网络连通性和磁盘空间。若任一节点不一致,后续步骤的偏差结果将无法解释。
步骤二:构建或拉取运行镜像。 使用版本化的镜像,并记录镜像摘要。同一镜像应同时用于训练和推理的基础环境,减少依赖差异。
步骤三:启动推理服务并加载初始权重。 推理服务需要先于训练服务就绪,因为训练的首个 rollout 依赖推理引擎的输出。加载完成后,应检查权重的哈希值与初始检查点一致。
步骤四:启动训练服务并加载同一权重。 训练侧加载的初始权重必须与推理侧完全相同。若两侧权重不一致,偏差会在第一步就出现,且无法通过后续参数修正消除。
步骤五:配置训推一致性参数。 包括 MoE 路由一致性模式、修正模块开关、操作模式和阈值。配置细节见第六节。
步骤六:执行小规模试运行。 使用少量 rollout 和较小的 batch 运行数个训练步,观察偏差指标是否稳定,日志中是否出现异常。试运行的目的是在投入大量算力前发现配置问题。
步骤七:开放监控与日志。 将偏差指标、奖励、KL 散度、吞吐和显存占用接入监控系统,并设置告警阈值。
步骤八:全量训练与持续观察。 确认试运行通过后,启动完整训练。前期应密切观察偏差曲线,确认其没有持续上升的趋势。
以下是一份示意性配置,字段名为本文自定义,用于说明配置逻辑。实际字段名应以所用框架的文档为准。
# 示意性配置,字段名为本文自定义consistency:moe_routing_mode: off # off | consistent_recompute | record_replaycorrection:enabled: truemode: decoupled # decoupled: 三策略模式;bypass: 两策略模式sequence_level: false # false 表示按 token 计算权重is_weight_upper_bound: 2.0 # 重要性权重上限,需通过试运行确定reject_threshold: 5.0 # 超过阈值的样本被剔除,需通过试运行确定monitor:log_prob_diff_metrics: truealert_on_mean_abs_diff: 0.05 # 告警阈值,应基于基线数据设定
各参数的作用和风险如下。
MoE 路由一致性。 该参数决定如何处理路由层面的不一致,常见思路有三种:
修正模块。 修正模块包含两类机制。重要性采样权重对每个 token 或每条序列做连续的梯度重加权,修正分布偏移。阈值过滤则直接剔除偏移过大的样本。两者需要配合调节:阈值过大时修正会失效,阈值过小时大量样本被丢弃,有效样本率下降,训练效率降低。
操作模式。 三策略模式保留完整的策略梯度结构,需要额外执行一次 log prob 计算