大模型强化学习部署中的Critic模型与奖励模型：架构分工与工程落地

在大模型对齐训练的部署实践中，很多工程师会问：既然已经部署了奖励模型来提供偏好评分，为什么还需要额外部署一个Critic模型？这不是重复建设、浪费算力吗？本文将从部署架构的角度，系统拆解这两个模型在训练流水线中的不同职责、部署方式、资源配置要求以及运维要点，帮助读者完整理解双模型协同的工程逻辑。

一、部署目标与适用范围

本文讨论的部署对象是：在大模型强化学习对齐训练流水线中，同时部署奖励模型和Critic模型（价值函数）两个推理服务，并使其与策略模型协同工作。

部署完成后应达到的效果：

• 奖励模型能够对策略模型生成的回答给出即时评分；
• Critic模型能够对当前策略状态下未来累计收益进行预测；
• 两者与策略模型形成完整的训练闭环，支持持续迭代。

适用读者：从事大模型训练平台建设的开发者、负责训练集群运维的工程师、设计对齐训练架构的技术负责人。

二、部署场景与核心概念

2.1 为什么不是重复建设

奖励模型回答的是：这个回答本身有多好？它输出的是一个即时评分，类似于裁判打分，不关心当前策略是什么，输入输出为“提示词+回答→分数”。

Critic模型回答的是：从当前状态出发，按照当前策略继续生成，未来累计能拿到多少奖励？它输出的是长期价值预测，依赖当前策略，输入输出为“状态→价值估计”。

两者在训练循环中承担不同角色：奖励模型提供训练信号，Critic模型提供方差缩减与优势估计。缺少Critic模型，策略梯度估计的方差会显著增大，训练稳定性下降。

2.2 关键差异对比

维度	奖励模型	Critic模型
输出含义	即时奖励/局部评分	长期累计价值预测
是否依赖策略	不依赖	依赖当前策略
可解释性	局部可解释	全局抽象，难以解释
跨策略迁移	可迁移	难以迁移
训练信号来源	人类偏好数据	策略采样轨迹

三、部署架构与组件拆解

在一个典型的对齐训练部署中，涉及以下组件：

• 策略模型服务：负责生成回答，是训练的主体；
• 奖励模型服务：对生成的回答打分，提供即时奖励信号；
• Critic模型服务：预测状态价值，辅助优势函数计算；
• 参考模型服务：提供KL散度约束的基准；
• 训练协调器：负责采样、打分、优势计算、梯度更新的调度；
• 经验回放存储：缓存轨迹数据供多轮更新使用。

部署形态上，这些组件可以部署在同一容器集群内，通过内部服务调用通信；也可以分离部署，通过高速网络互连。关键要求是推理延迟要匹配训练吞吐，否则GPU利用率会大幅下降。

四、前置准备

4.1 资源规划

• 计算资源：奖励模型和Critic模型各需独立推理实例，建议使用与策略模型同代的加速卡，但规格可适当降低；
• 显存需求：Critic模型通常与策略模型参数量相当，显存占用需重点评估；
• 网络带宽：模型间通信频繁，建议使用高带宽内网互联；
• 存储：需要存放模型权重、配置文件、日志和检查点。

4.2 环境准备

• 运行时环境与依赖包版本需与训练框架匹配；
• 模型权重文件需提前上传至可访问的存储位置；
• 服务端口、访问策略、身份认证需提前配置；
• 日志采集与监控代理需预先部署。

4.3 配置管理

• 奖励模型和Critic模型的推理服务地址应通过环境变量注入，避免硬编码；
• 密钥信息通过密钥管理服务下发，不写入配置文件；
• 不同环境（开发/测试/生产）使用独立配置，确保隔离。

五、部署流程

5.1 环境初始化

创建计算实例或容器编排资源，安装运行时依赖，挂载模型权重存储卷，配置内网通信策略。

5.2 模型服务部署

按以下顺序启动各服务：

1. 启动参考模型服务（冻结参数，仅做推理）；
2. 启动奖励模型服务，加载权重，开放评分接口；
3. 启动Critic模型服务，加载权重，开放价值预测接口；
4. 启动策略模型服务，加载待训练权重。

5.3 服务配置

每个推理服务需配置：监听地址与端口、批处理大小、最大序列长度、超时时间、健康检查路径。

5.4 训练协调器配置

协调器需要配置：采样批次大小、奖励模型调用地址、Critic模型调用地址、优势估计参数、学习率、KL约束系数。

5.5 启动验证

依次验证：各服务健康检查通过、奖励模型能返回合理分数、Critic模型能返回价值估计、完整训练步能跑通。

六、上线验证与监控

部署成功后，需从以下维度验证：

• 服务可用性：各推理接口响应正常，延迟在预期范围内；
• 数值合理性：奖励分数分布合理，价值估计随训练逐步收敛；
• 训练稳定性：损失曲线平滑，无异常震荡或发散；
• 资源状态：加速卡利用率、显存占用、网络吞吐在合理区间；
• 日志无异常：无持续报错或超时告警。

建议配置的监控指标：各服务QPS与延迟、加速卡利用率与显存、训练损失与奖励均值、Critic价值估计均值、KL散度。

七、常见问题与排查

问题现象	可能原因	排查思路
训练损失震荡	Critic估计偏差大	检查价值损失收敛情况，调整Critic学习率
奖励分数异常	奖励模型输入格式错误	核对输入拼接方式与训练时是否一致
推理延迟过高	批处理配置不合理	调整批大小与并发数，检查网络带宽
显存溢出	Critic模型规格过大	降低批大小或使用梯度检查点
服务频繁重启	健康检查过于严格	调整检查间隔与超时阈值

八、运维与优化

• 稳定性：为每个推理服务配置就绪探针与存活探针，异常时自动重启；
• 性能：使用动态批处理提升吞吐，对奖励模型和Critic模型可量化部署以降低显存；
• 扩展性：当训练规模扩大时，推理服务可水平扩展，通过负载均衡分发请求；
• 成本：奖励模型参数冻结后可使用较低精度推理；Critic模型需与策略同步更新，资源不可过度压缩；
• 安全：所有服务间通信启用加密传输，接口调用需身份认证，操作日志留存审计。

九、总结

奖励模型和Critic模型在对齐训练部署中承担不同职责：前者提供即时奖励信号，后者提供长期价值估计。二者不可互相替代——奖励模型不依赖策略、可迁移、局部可解释；Critic模型依赖策略、难以迁移，但能有效降低策略梯度方差。部署时需重点关注资源配置、服务间通信延迟、数值稳定性和监控告警，确保训练流水线稳定高效运行。