扩散强化学习框架是什么？一文详解高效稳定可扩展的后训练方案

在图像与视频生成模型的落地过程中，后训练阶段正变得愈发关键：预训练模型具备强大的生成先验，但要让它更符合人类偏好、更贴合具体任务目标，往往需要借助强化学习进行对齐与优化。然而，扩散模型（含视频扩散模型）的强化学习后训练长期面临一个两难：更新快的路线容易训练崩溃，更新稳的路线则样本效率低下。本文围绕一种面向扩散生成的高效、稳定、可扩展的强化学习后训练框架展开，系统回答“它是什么、为什么重要、如何工作、适合哪些场景”等问题。

一、概念定义：它到底是什么

扩散强化学习框架，是指一类将强化学习目标引入扩散生成模型后训练过程的技术方案统称。其核心任务是在扩散模型已有的去噪生成能力之上，利用奖励信号（如视觉质量评分、运动质量评分、人类偏好等）对模型参数进行在线优化，使生成分布向高奖励区域偏移。

从技术视角看，它要解决的是“如何在连续的高维生成空间中，把标量或偏好形式的奖励转化为可用的参数更新信号”；从业务视角看，它解决的是“预训练模型生成结果不够好、不够符合目标偏好”的问题；从使用视角看，它提供了一套无需改动奖励模型内部结构、无需大量额外调参即可接入的后训练流程。

本文讨论的具体框架具有几个可辨识的特征：支持常微分方程（ODE）采样流程，不要求奖励模型可微，可自然适配标量奖励、二值偏好奖励等多种奖励形式，并强调极高的样本效率与可扩展性——即在同一套算法框架下，既能处理图像生成，也能扩展到大规模视频生成模型的后训练。

二、背景与价值：为什么需要这类框架

扩散模型后训练在视频生成领域的地位持续上升，但现有路线各有明显短板，这正是新框架出现的直接动因。

第一类：反向过程强化学习。 这类方法更接近传统强化学习范式，将反向去噪过程建模为马尔可夫决策过程（MDP），通过 ODE 到 SDE 的转换来计算策略梯度。其问题在于信用分配：最终奖励被无差别地分配到轨迹中的每一步，导致“哪一步做得好、哪一步做得差”无法被有效区分，训练效率因此受限。

第二类：正向过程强化学习。 这类方法更接近扩散模型的监督训练范式，对生成结果重新加噪，通过奖励加权的正负双分支回归来更新模型，无需转移概率，可沿用高效采样器。但其稳定性依赖正负分支联合训练，以及需要按任务调参的 EMA off-policy 策略——单分支训练或直接 on-policy 更新都容易崩溃。

这里存在一个值得深入的现象：在理想推导中，朝正样本分布靠近与远离负样本分布，本应指向相同的梯度方向，为何实践中少一个分支就不行？on-policy 与 off-policy 在扩散这类连续空间强化学习中的本质区别究竟是什么？这正是新框架在设计上需要正面回答的问题。一个优秀的框架，必须在“更新速度”与“训练稳定性”之间找到结构性解法，而不是靠调参勉强维持平衡。

三、核心组成与工作原理

从流程角度看，该框架可拆解为以下几个关键环节：

1. 采样与轨迹构造：采用 ODE 采样器完成生成过程，避免引入不必要的随机性开销，同时保留高效采样器的优势。
2. 奖励获取：奖励可以来自标量评分模型，也可以来自二值偏好判断，不要求奖励模型可微，这大幅放宽了奖励信号的接入条件。
3. 分布偏移与回归目标：通过对生成结果进行加噪扰动，构造正负样本方向，将奖励加权信号转化为回归式的训练目标，从而绕开传统策略梯度对转移概率的依赖。
4. 稳定性约束：通过合理的分支设计与策略更新机制，避免单分支更新带来的崩溃风险，减少对手工调参的依赖。

用示意性伪代码描述其训练循环大致如下：

for each iteration:
    prompts = sample_batch()
    samples = ode_sample(policy, prompts)      # ODE 采样
    rewards = reward_fn(samples)               # 标量或二值偏好
    noisy   = add_noise(samples)               # 重新加噪
    pos, neg = build_branches(noisy, rewards)  # 正负分支构造
    loss = weighted_regression(policy, pos, neg)
    update(policy, loss)                       # 稳定更新

与反向过程路线相比，它避免了把奖励均匀摊到每一步的信用分配问题；与正向过程路线相比，它在保持监督式回归效率的同时，通过结构设计而非调参来获得稳定性。这种“回归式目标 + 稳定性约束”的组合，是它兼顾速度与稳定的关键。

四、典型适用场景

• 视频生成模型的后训练：面向大规模视频扩散模型，在视觉质量与运动质量等奖励维度上进行在线优化，显著缩短达到目标奖励水平所需的训练时间。
• 图像生成偏好对齐：在图像生成任务中接入人类偏好或评分模型，将生成分布向高偏好区域偏移。
• 多奖励形式并存的任务：当奖励来源不统一（有的给出连续分数，有的只给出“好/差”二值判断）时，该框架无需为每种奖励单独改造。
• 奖励模型不可微或闭源的场景：由于不要求奖励模型可微，可直接复用外部评分服务或人工偏好数据构造的奖励。
• 算力预算受限的训练环境：高样本效率意味着更少的采样与训练步数，适合希望在有限 GPU 时长内完成对齐的团队。

五、相关概念区别

• 与反向过程强化学习的区别：后者将去噪建模为 MDP 并计算策略梯度，信用分配粒度粗；本框架走回归式路径，信用分配更直接。
• 与正向过程强化学习的区别：后者依赖正负双分支联合训练与 EMA off-policy 调参来维持稳定；本框架在结构上降低了对这类脆弱平衡的依赖。
• 与监督微调的区别：监督微调依赖成对或标注数据直接回归；本框架只依赖奖励信号，更适用于难以构造标准答案、但易于评估好坏的场景。
• 与扩散蒸馏的区别：蒸馏关注步数压缩与采样加速；本框架关注的是生成分布的奖励对齐，二者目标不同但可组合使用。

六、使用注意事项

1. 奖励信号质量决定上限：奖励模型若存在偏差，框架会高效地把模型推向该偏差方向，因此奖励设计需先行验证。
2. 采样器一致性：采用 ODE 采样时，训练与推理的采样配置应保持一致，避免分布错配。
3. 稳定性仍需监控：虽然框架降低了对调参的依赖，但训练初期仍建议监控奖励曲线与生成质量指标，防止奖励黑客现象。
4. 规模化验证：从小模型迁移到大模型时，需重新确认批量大小、学习率等基础超参的适配性。
5. 评估维度要全面：除平均奖励外，应同时观察视觉质量、运动质量、多样性等指标，避免单一奖励提升掩盖其他退化。

七、总结

扩散强化学习框架的本质，是在扩散模型的连续生成空间中，用回归式、低方差的更新方式把奖励信号转化为稳定的参数优化过程。它之所以重要，是因为它同时回应了现有两条路线的核心痛点：既避免了反向过程路线信用分配不佳导致的低效，也缓解了正向过程路线对脆弱平衡与逐任务调参的依赖。其适用边界在于：它依赖可靠的奖励信号，适合有明确评估手段但难以构造标注答案的生成任务；对于奖励本身难以定义或评估成本极高的场景，仍需谨慎评估投入产出。理解这一定义与边界，才能在后训练选型中做出合理判断。