简介:本文对比理解 RLHF(基于人类反馈的强化学习)的两种数学建模视角——马尔可夫决策过程(MDP)与上下文老虎机(Contextual Bandit)。通过剖析两者在状态转移、奖励密度、优化目标上的本质差异,说明为什么生成过程用 MDP 描述更自然,而 DPO 等直接偏好优化方法更适合 Bandit 视角,并给出不同场景下应如何选择建模框架的判断依据。
初学者接触 RLHF 时,常会产生一个很自然的直觉:既然模型是根据人类偏好打分来优化输出,那这不就是”多臂老虎机”式的选择问题吗?这个直觉抓住了偏好对齐的部分本质,却不足以覆盖语言生成的完整结构。
真正的问题在于:观察问题的”颗粒度”不同,适用的数学框架就不同。 MDP 与 Bandit 并不是互斥对立的关系,而是同一系统在两种抽象层级上的建模方式。把整条回答看成”一个动作”,就得到 Bandit;把每个 token 看成”一个动作”,就得到 MDP。理解它们的差异,能帮助我们在设计奖励、选择优化算法、分析收敛性和稳定性时做出更准确的判断,而不是停留在”感觉像”的层面。
MDP(马尔可夫决策过程):用四元组刻画序贯决策——(st, a_t, r_t, s{t+1})。在状态 st 下执行动作 a_t,依据奖励函数获得即时奖励 r_t,并通过状态转移函数进入下一状态 s{t+1}。优化目标是最大化期望折扣回报:
max_π E[ Σ_t γ^t · r_t ]
它的两个关键特征是:动作会影响未来状态分布;奖励可以在中间步骤产生。
Contextual Bandit(上下文老虎机):这里特指上下文老虎机,因为 RLHF 中的 Prompt 恰好充当了上下文(Context)的角色。它只保留”上下文 x、动作 a、奖励 r(x,a)”三个要素,没有”时间”与”状态迁移”的概念。每一轮在上下文 x 下选择动作 a 得到奖励,这一把的输赢不影响下一把。优化目标是:
max_π E_{x~D, a~π(·|x)}[ r(x, a) ]
两者的分水岭非常清晰:是否存在状态转移,以及当前动作是否影响未来的决策环境。
以最经典的 RLHF 流程为例:
max_π E_{y~π(·|x)}[ R_φ(x, y) − β · KL(π || π_SFT) ]
这里有一个关键事实:奖励只定义在完整序列 y 上,中间 token 没有单独的奖励信号。如果把每个 token 当作一个时间步,可以等价写成:
r_t = 0 (t < T)r_T = R(x, y) (t = T)
这就形成了一个”分岔路口”:
同一个训练目标,两种看法都能自洽,这正是本文要辨析的核心。
两种视角并非毫无关联,它们共享以下基础假设:
从建模粒度、状态依赖、奖励密度、算法适配和训练稳定性五个维度展开对照。
| 维度 | MDP 视角 | Bandit(上下文老虎机)视角 |
|---|---|---|
| 动作粒度 | 单个 token | 整条回答 y |
| 状态 / 上下文 | 存在状态,包含已生成前缀 | 仅有 Prompt 作为上下文 |
| 状态转移 | 显式存在 | 不存在 |
| 奖励形态 | 稀疏,仅在终止步 r_T 生效 | 稠密,一次采样即得一奖励 |
| 优化目标 | max E[Σ γ^t r_t] | max E_{x,a}[r(x,a)] |
| 适配算法 | PPO 等 Actor-Critic | DPO 等直接偏好优化 |
| 实现复杂度 | 较高,需价值网络与在线采样 | 较低,可离线监督 |
| 建模自然度 | 生成过程描述更自然 | 忽略序列内部结构,更简洁 |
更适合采用 MDP 视角的场景:
更适合采用 Bandit 视角的场景:
关于 DPO 值得单独说明:它把偏好数据下的策略优化重写为一个可直接监督的目标,本质上放弃了”逐 token 决策 + 状态转移”的结构。因此当使用这类方法时,用 Bandit 视角去看待,会比强行套 MDP 更顺畅。这正是”观察颗粒度决定建模视角”的典型体现。
不要问”RLHF 到底是 MDP 还是 Bandit”,而应问”我当前的分析目标需要哪种颗粒度”:
这些判断都是条件化的,没有绝对优劣,取决于任务对奖励结构、可解释性和工程成本的具体要求。
若从一种建模思路切换到另一种(例如从 PPO 迁移到直接偏好优化方法),需要提前评估:
回到最初的问题:RLHF 是不是一个多臂老虎机?答案是”取决于你观察问题的颗粒度”。MDP 与 Bandit 是对同一偏好对齐问题的两种抽象——前者保留 token 级的状态转移与稀疏奖励,更贴合生成过程的真实结构;后者把整条回答压成一个动作、把 Prompt 当上下文,更契合直接偏好优化类方法的本质。理解它们并非对立,而是同一系统在粗、细两个尺度上的投影,就能在面对 PPO 与 DPO、过程奖励与整体奖励、在线采样与离线监督时,做出与自身目标相匹配的选择。