RLHF 建模视角对比:MDP 还是 Bandit

作者:KAKAKA2026.11.16 10:47浏览量:0

简介:本文对比理解 RLHF(基于人类反馈的强化学习)的两种数学建模视角——马尔可夫决策过程(MDP)与上下文老虎机(Contextual Bandit)。通过剖析两者在状态转移、奖励密度、优化目标上的本质差异,说明为什么生成过程用 MDP 描述更自然,而 DPO 等直接偏好优化方法更适合 Bandit 视角,并给出不同场景下应如何选择建模框架的判断依据。

一、对比背景:为什么会纠结 MDP 还是 Bandit

初学者接触 RLHF 时,常会产生一个很自然的直觉:既然模型是根据人类偏好打分来优化输出,那这不就是”多臂老虎机”式的选择问题吗?这个直觉抓住了偏好对齐的部分本质,却不足以覆盖语言生成的完整结构。

真正的问题在于:观察问题的”颗粒度”不同,适用的数学框架就不同。 MDP 与 Bandit 并不是互斥对立的关系,而是同一系统在两种抽象层级上的建模方式。把整条回答看成”一个动作”,就得到 Bandit;把每个 token 看成”一个动作”,就得到 MDP。理解它们的差异,能帮助我们在设计奖励、选择优化算法、分析收敛性和稳定性时做出更准确的判断,而不是停留在”感觉像”的层面。

二、对比对象定义

MDP(马尔可夫决策过程):用四元组刻画序贯决策——(st, a_t, r_t, s{t+1})。在状态 st 下执行动作 a_t,依据奖励函数获得即时奖励 r_t,并通过状态转移函数进入下一状态 s{t+1}。优化目标是最大化期望折扣回报:

  1. max_π E[ Σ_t γ^t · r_t ]

它的两个关键特征是:动作会影响未来状态分布;奖励可以在中间步骤产生。

Contextual Bandit(上下文老虎机):这里特指上下文老虎机,因为 RLHF 中的 Prompt 恰好充当了上下文(Context)的角色。它只保留”上下文 x、动作 a、奖励 r(x,a)”三个要素,没有”时间”与”状态迁移”的概念。每一轮在上下文 x 下选择动作 a 得到奖励,这一把的输赢不影响下一把。优化目标是:

  1. max_π E_{x~D, a~π(·|x)}[ r(x, a) ]

两者的分水岭非常清晰:是否存在状态转移,以及当前动作是否影响未来的决策环境。

三、RLHF 的建模:把两种视角套进去

以最经典的 RLHF 流程为例:

  1. 给定 Prompt x;
  2. 采样若干回答 y_1, …, y_n(每个 y 都是一条包含多个 token 的完整回答);
  3. 由人类标注或偏好数据进行排序;
  4. 训练奖励模型 R_φ(x, y);
  5. 用 PPO 优化语言模型:
  1. max_π E_{y~π(·|x)}[ R_φ(x, y) − β · KL(π || π_SFT) ]

这里有一个关键事实:奖励只定义在完整序列 y 上,中间 token 没有单独的奖励信号。如果把每个 token 当作一个时间步,可以等价写成:

  1. r_t = 0 (t < T)
  2. r_T = R(x, y) (t = T)

这就形成了一个”分岔路口”:

  • MDP 视角:这是一个”只在终止步获得奖励”的稀疏奖励序贯决策问题,每个 token 是一个动作,前一 token 决定了后一 token 的可选空间(即状态转移)。
  • Bandit 视角:把整条输出 y 当作一个”动作”,Prompt x 当作上下文,R_φ(x, y) 就直接是一个”即时奖励”,而不再是末步才兑现的稀疏奖励。

同一个训练目标,两种看法都能自洽,这正是本文要辨析的核心。

四、相同点分析

两种视角并非毫无关联,它们共享以下基础假设:

  • 都假设存在一个可对输出质量打分的奖励函数(显式奖励或隐式偏好);
  • 都从策略 π 采样并估计期望奖励;
  • 优化目标的形式高度相似,都是”最大化期望奖励,同时用 KL 项约束策略不要偏离参考模型太远”;
  • 都能解释经典 PPO 训练下的偏好对齐现象,在只关心最终回答质量时,两者给出的定性结论往往一致。

五、核心差异分析

从建模粒度、状态依赖、奖励密度、算法适配和训练稳定性五个维度展开对照。

  • 动作粒度:MDP 把每个 token 视为一个动作,天然保留生成的自回归结构;Bandit 把整条回答压缩成一个动作,丢弃了序列内部的逐步信息。
  • 状态与上下文:MDP 存在显式状态(已生成的前缀),状态转移由语言模型自身决定;Bandit 只有 Prompt 这一个上下文,不存在状态迁移。
  • 奖励密度:MDP 下奖励稀疏(只有末步 r_T 非零),需要解决信用分配问题;Bandit 下一次采样即得一个整体奖励,无需在 token 间分摊。
  • 算法适配:MDP 契合 Actor-Critic 类方法(如 PPO),需要额外的价值网络估计状态值;Bandit 契合直接偏好优化类方法(如 DPO),可绕开显式奖励建模与在线采样。
  • 训练稳定性:MDP 需要处理长序列上的价值估计误差累积,超参更敏感;Bandit 目标更直接,实现更简单,通常在稳定性上更易控制。

六、对比表格

维度 MDP 视角 Bandit(上下文老虎机)视角
动作粒度 单个 token 整条回答 y
状态 / 上下文 存在状态,包含已生成前缀 仅有 Prompt 作为上下文
状态转移 显式存在 不存在
奖励形态 稀疏,仅在终止步 r_T 生效 稠密,一次采样即得一奖励
优化目标 max E[Σ γ^t r_t] max E_{x,a}[r(x,a)]
适配算法 PPO 等 Actor-Critic DPO 等直接偏好优化
实现复杂度 较高,需价值网络与在线采样 较低,可离线监督
建模自然度 生成过程描述更自然 忽略序列内部结构,更简洁

七、典型场景选择

更适合采用 MDP 视角的场景:

  • 需要在 token 级或中间步骤引入奖励,例如过程奖励、格式约束、推理链逐步监督;
  • 需要分析长程依赖与信用分配问题,关心”是哪一步导致了最终的低分”;
  • 使用 PPO 及其变体,依赖价值网络对状态进行估计。

更适合采用 Bandit 视角的场景:

  • 只关心最终回答的整体质量,不拆分明细步骤;
  • 使用直接偏好优化类方法——它天然把”一条完整输出”视为一个动作,绕开显式奖励建模与在线采样,用 Bandit 视角理解更为贴切;
  • 希望降低实现复杂度、减少超参数、提升训练稳定性。

关于 DPO 值得单独说明:它把偏好数据下的策略优化重写为一个可直接监督的目标,本质上放弃了”逐 token 决策 + 状态转移”的结构。因此当使用这类方法时,用 Bandit 视角去看待,会比强行套 MDP 更顺畅。这正是”观察颗粒度决定建模视角”的典型体现。

八、选视角的判断建议

不要问”RLHF 到底是 MDP 还是 Bandit”,而应问”我当前的分析目标需要哪种颗粒度”:

  • 如果你的分析对象是单个 token 如何被逐步生成、中间步骤如何影响结果,选择 MDP;
  • 如果你的分析对象是整条回答作为一个整体如何被偏好排序优化,选择 Bandit;
  • 如果你在做算法选型,PPO 路线更贴近 MDP,直接偏好优化路线更贴近 Bandit;
  • 如果团队资源有限、追求实现简洁与稳定,优先考虑 Bandit 视角下更简洁的方法,再视需要逐步引入 MDP 结构。

这些判断都是条件化的,没有绝对优劣,取决于任务对奖励结构、可解释性和工程成本的具体要求。

九、迁移与使用注意事项

若从一种建模思路切换到另一种(例如从 PPO 迁移到直接偏好优化方法),需要提前评估:

  • 数据形态:MDP 路线通常需要在线采样与奖励打分,Bandit 路线更依赖离线偏好对,数据管线差异较大;
  • 奖励设计:切换到 Bandit 视角后,原有的 token 级中间奖励将失去着力点,需重新界定奖励只作用于整条输出;
  • 超参与稳定性:不同方法对 KL 约束强度、学习率等超参的敏感度不同,迁移后需要重新调参;
  • 可解释性:MDP 保留了逐步决策的可追溯性,Bandit 视角下较难定位到具体 token 的贡献,排查问题时需调整策略;
  • 评估口径:两种视角的最终质量评估可以一致,但中间过程指标(如价值估计、逐步奖励)不通用,需重建观测体系。

十、总结

回到最初的问题:RLHF 是不是一个多臂老虎机?答案是”取决于你观察问题的颗粒度”。MDP 与 Bandit 是对同一偏好对齐问题的两种抽象——前者保留 token 级的状态转移与稀疏奖励,更贴合生成过程的真实结构;后者把整条回答压成一个动作、把 Prompt 当上下文,更契合直接偏好优化类方法的本质。理解它们并非对立,而是同一系统在粗、细两个尺度上的投影,就能在面对 PPO 与 DPO、过程奖励与整体奖励、在线采样与离线监督时,做出与自身目标相匹配的选择。