一、概念定义:什么是扩散式强化学习
扩散式强化学习(常被简称为DiffusionRL)是一类后训练方法。它把训练好的扩散模型或流匹配(flow matching)模型当作策略,把“从纯噪声出发、多步迭代去噪直至得到最终样本”的整条采样链视为决策过程。该方法再用奖励模型或规则程序给最终样本打分,依据分数反向更新模型参数,使生成分布持续向高奖励区域偏移,同时被约束在参考模型附近。
可以从三个视角理解它:
- 技术视角:采样链 xT → x{T-1} → … → x0 是一条马尔可夫决策链,每一步的条件分布就是策略,参数为 θ 的网络 vθ(x, t) 预测速度场(流匹配)或去噪方向(扩散)。优化的典型形式为
maxθ E{x0 ~ πθ} [ r(x0) ] − β · KL( πθ || π_ref )
其中 r 为奖励,π_ref 为参考(通常是微调前的)策略,β 控制偏离幅度。 - 业务视角:在已完成监督微调的文生图、文生视频等基座之上,用人类偏好打分或可验证的规则奖励做对齐。要提升的包括美学质量、指令遵循、文字渲染、空间布局等难以仅靠拟合数据分布保证的目标。
- 使用视角:一次迭代大致包括“成组采样 → 打分 → 计算组内相对优势 → 反向传播更新”。其中采样与打分通常占绝大部分算力,参数更新反而是小头。
需要说明的是,PPO、GRPO、DPO等是通用的算法或方法名称,本文用它们指代业界公开方法,不涉及任何具体机构或产品。
二、背景与价值:它为何出现,解决了什么问题
- 训练目标与偏好目标不一致:扩散和流匹配预训练拟合的是数据分布,而人类偏好和可验证规则并不等价于数据分布。监督微调只能模仿“示范数据”,扩散式强化学习直接优化标量奖励的期望,还能利用低分样本提供的负向信号。
- 奖励通常难以直接反向传播:奖励模型、检测模型或规则程序一般与生成器解耦。即便奖励可微,直接反传也容易出现模式塌缩、对抗样本和奖励攻击,因而需要基于采样的优化,并辅以 KL 约束。
- 必须引入随机性:确定性常微分方程采样是输入到输出的确定映射,无法定义有意义的策略概率,也没有探索。把采样改造成随机微分方程(SDE)形式,每步注入高斯噪声后,各步条件概率变为高斯分布,log-prob 可算且对参数可微,序列级策略梯度才成立。
- 信用分配与方差:奖励只在末端给出,整条链共享同一个优势值。各类方案的核心差异,很大程度上来自它们在方差、偏差与采样成本之间做出的不同取舍。
三、核心组成:把扩散式强化学习拆成四件事
- 采样器(探索来源):控制去噪步数 K、步长 Δt 和每步噪声强度 σ_t。随机性决定 log-prob 是否可算、探索幅度多大,以及梯度方差高低。
- 奖励与优势(监督信号):奖励可来自奖励模型、视觉语言模型评审或规则程序。组内相对优势通常定义为
A_i = ( r_i − mean(r) ) / ( std(r) + ε )
同一 prompt 采样一组样本、以组均值作基线,可以避免绝对奖励尺度的影响。优势既充当基线,又充当该样本的“好坏标签”。 - 优化目标(更新方式):包括重要性比率加裁剪、优势加权的流匹配回归、前向过程正负样本匹配。三者是同一目标的不同近似路径。
- 约束项(稳定器):KL 惩罚或信任域约束,抑制奖励攻击与分布漂移。
四、工作原理:三类方案的梯度与等效 loss
以下用三个代称指代三类代表性方案,它们均为“方案类型”层面的抽象:
- 方案一(简称SDE-CLI):SDE 采样 + 概率比裁剪类在线策略梯度;
- 方案二(简称AWM):优势加权匹配类回归方法;
- 方案三(简称NFT):前向过程正负样本匹配类方法。
原文包含三条外链、一个技术社区名称和若干原论文名称,此处统一做中立化处理。
4.1 统一记号
- 采样轨迹为 xT → x{T-1} → … → x_0,共 K 步,步长 Δt,0 = t_0 < t_1 < … < t_K = T。
- SDE 一步更新为 x{t+1} = x_t − vθ(x_t, t) Δt + σ_t · ε_t,其中 ε_t ~ N(0, I)。
- 增量 Δxt = x{t+1} − xt,旧策略速度为 v_old = v{θ_old}。
4.2 方案一:SDE 采样 + 概率比裁剪
(1)单步对数概率
每步条件分布 x{t+1} | x_t ~ N( μθ, σt² I ),其中 μθ = xt − vθ Δt。代入高斯对数密度并展开平方项:
log πθ(x{t+1} | xt)
= −‖Δx_t + vθ Δt‖² / (2σt²) + C
= −Δt²‖vθ‖² / (2σt²) − Δt·⟨Δx_t, vθ⟩ / σ_t² + C
C 只与轨迹和噪声有关,不含 θ。
(2)忽略 clip 后的梯度
设 ρt = πθ/πold 并施加梯度截止(等价于认为 ρ_t ≈ 1,下文解释),目标函数可写成 L = −Σ_t E[ A · log πθ(x{t+1} | x_t) ]。对 vθ 求导:
∇θ L = Σ_t A · ( Δt / σ_t² ) · ⟨ Δt·vθ + Δxt , ∇θ v_θ ⟩
(3)代入 SDE 定义
由采样式可得 Δx_t = −v_old Δt + σ_t ε_t,于是:
Δt·vθ + Δx_t = Δt·(vθ − v_old) + σ_t ε_t
∇θ L = Σ_t ( A · Δt / σ_t ) · ⟨ ε_t , ∇θ vθ ⟩ + Σ_t ( A · Δt² / σ_t² ) · ⟨ vθ − vold , ∇θ v_θ ⟩
(主项:噪声对齐项) (次项:速度差自比较项)
(4)梯度方向由谁决定
- 主项形如 d⟨εt, x{t+1}⟩/dθ。沿采样路径冻结 ε_t 后,奖励关于参数的导数就是 Σ_t ⟨∂r/∂x_0, dx_0/dθ⟩,本质上也是对各步速度场的梯度做加权求和。因此主项就是“优势加权的重参数化梯度”,即奖励加权后的沿路径梯度,方向与奖励梯度一致。
- 次项系数约为 Δt²/σt²,相对主项的 σ_t/Δt 小一个量级的平方。但它是 vθ 与 v_old 之差的自比较项:策略更新越大,它带来的方向扰动越大。
(5)关于两处近似
- ρ ≈ 1:ρ 中不含 θ 的导数,只作为权重。它既不改变单个样本梯度的方向,也不会在参数空间引入新方向。采样完成后第一个迭代,旧策略与新策略完全一致,ρ 恒为 1;实践中单 epoch 迭代次数很少,ρ 长期接近 1。
- v_θ ≈ v_old:若成立则次项消失,否则只是程度不同的偏差,并非无害。
- 原作者团队后续提出的修正方案修改了 log-prob 的定义,使梯度中不再出现该项,上面的“≈”随之变为“=”。这属于方法层面的更新,具体形式以该工作原文为准。
(6)等效 loss
令 ℓ(θ) = Σt ( σ_t / Δt ) · A_t · log πθ(x_{t+1} | x_t),即 advantage 加权的 log-prob 最大化目标。略去与 θ 无关的项:
ℓ(θ) = Σt ( A_t · Δt / σ_t ) · [ ⟨ ε_t , vθ ⟩ − ( Δt / (2σt) ) · ‖vθ‖² ] + const
∇θ ℓ 与 ∇θ L 完全一致,可逐项验证。
- 第一项:advantage 加权的线性项,作用是把 v_θ 推向“高优势样本的 ε_t 方向”。等价地看,就是沿 −ε_t 方向抬高该轨迹的概率。这正是重参数化意义下的奖励梯度。
- 第二项:关于 v_θ 的二次惩罚,等价于在速度场层面对旧策略做的隐式 KL 约束,稳定新策略、限制步子。
直观结论是:方案一在做“用优势给采样噪声定向”的加权回归。
4.3 方案二:优势加权匹配(AWM)
AWM 从另一条路径出发,把扩散式强化学习重写为带优势权重的流匹配回归:
L(θ) = E{x_0, t} [ w(A) · ‖ vθ(x_t, t) − v_target ‖² ]
- v_target 是流匹配目标,例如 x_1 − x_0,或模型自身速度(自蒸馏形式)。
- w(A) 是关于优势单调不减的权重,常见如 max(A, 0) 或指数形式 exp(A/α)。
其梯度为 ∇θ L = E[ w(A) · (vθ − vtarget)ᵀ · ∇θ v_θ ]。
两类方法的统一视角
- 优势加权的对数似然:对类别 c 采用温度化交叉熵 −A_c·log π(c | x)。由于 −log π = KL(δ_c ‖ π) + const,它等价于用权重 A_c 做“加权软标签蒸馏”。
- 优势的 softmax 加权:即权重 exp(A/α),本质上属于前者的特例。
据此,三种方法可以理解为同一“加权分布拟合”目标的三种参数化:
| 方案 |
拟合对象 |
样本标签(目标信号) |
权重来源 |
| SDE-CLI |
反向链每步条件分布 πθ(x{t+1} \ |
x_t) |
采样得到的实际下一状态 x_{t+1},期望由优势重加权 |
A_t / σ_t |
| AWM |
由匹配目标定义的条件分布 π(y \ |
x_0) |
流匹配目标 v_target |
w(A),如 max(A,0) 或 exp(A/α) |
| NFT |
前向过程上的位置关系 p(stay \ |
x_0, t) |
stay 表示保持靠近 x_0,jump 表示远离 x_0 |
A_i 的符号,以及 |
A_i |
控制的学习率 |
AWM 的梯度方向是 vtarget − vθ,不带 ε 乘子,方差更低,也不需要概率比与裁剪。
它的不足之处有两点:
- 优势权重的选择:v_θ ≈ v_old 时,正向权重项 v_old − v_target 恰为注入噪声。若权重对所有样本一视同仁(包括负优势样本),目标就退化为旧策略本身,即“零学习”。因此必须用 max(A, 0)、阈值截断或指数权重,主动丢弃或压低低优势样本。
- 近似成立的前提:当权重在整批样本上近似均匀时,目标等同于“按奖励重加权的数据分布”。偏离越大,越是依赖权重设计。
4.4 方案三:前向过程正负样本匹配(NFT)
NFT 不显式计算反向链的 log-prob,而是把采样得到的 x_0 连同其优势,转成前向过程上的监督信号:
- A_i > 0 的样本是“正样本”,模型被训练为预测 stay,即停留在 x_0 附近;
- A_i ≤ 0 的样本是“负样本”,模型被训练为预测 jump,即远离 x_0;
- |A_i| 决定该样本对更新的贡献强度。
梯度只关心模型输出与 stay/jump 目标之间的偏差。参考做法是在“停留在 x_0 附近”的区域内对速度做矫正,区域之外不惩罚,由此得到稳定的有界梯度。
这套设计有两个关键好处:
- 不依赖逐步概率密度:避免 log-prob 在大模型上因单位体积概率极小而在 float32 下溢,于是可以用 bf16 训练。
- 可以离线复用:同一个优势值可被任意次前向训练复用,不必每轮重新采样。
换个角度看,三者最终都回到“加权分布拟合”,区别主要在“怎么把优势变成监督信号”:
- SDE-CLI 用优势给“已采到的噪声”定向;
- AWM 用优势给“匹配目标”加权;
- NFT 用优势给前向过程指定“靠近或远离”。
4.5 三者的关系与对比
三者并非互斥,而是同一框架的不同近似,在方向上高度一致:
- SDE-CLI 修正后,其梯度主项就是 advantage 加权的奖励梯度。
- 当奖励对最终样本可微、忽略前向导项与 KL 项时,奖励梯度可写成
∇θ J = E{pdata} [ Σ_t w_t · ( ε_t − vθ(xt, t) )ᵀ · ∇θ v_θ ]
这正是“以模型预测速度为目标、用 w_t 加权”的流匹配回归。 - 相应地,最优值函数是归一化指数优势 Â = exp(A/α) / Z,这恰是 AWM 中“按奖励重加权数据分布”的离散形式。
- NFT 则把 stay/jump 视为把梯度聚向“保持靠近样本”的方向,与“推向高奖励样本”目标一致,只是约束更弱。
| 维度 |
SDE-CLI |
AWM |
NFT |
| 随机性来源 |
反向链每步注入高斯噪声 |
采样器 + 匹配目标噪声 |
前向加噪 |
| 需要 log-prob |
需要 |
不需要 |
不需要 |
| 优势如何进入梯度 |
给噪声方向定向 |
给匹配目标加权 |
指定“靠近/远离” |
| 梯度方差 |
较低(主项为重参数化形式) |
低 |
低 |
| 主要近似假设 |
比率≈1;速度差项(修正后严格成立) |
权重选择;权重近似均匀 |
stay/jump 目标近似与 reward 梯度同向 |
| 优势复用 |
差(随策略快速失效) |
中 |
高 |
| 实现复杂度 |
较高(需存储逐步 log-prob) |
低 |
中 |
五、典型应用场景
- 文生图、文生视频的偏好对齐:奖励来自审美打分、人类偏好或视觉语言模型评审。
- 可验证奖励任务:如文字渲染准确率、主体数量与属性约束、空间布局与空间关系、长宽比与分辨率。规则可直接计算奖励,训练信号更干净。
- 可控生成:在深度图、边缘、布局等条件控制的生成中,用奖励优化“条件遵循度”。
- 云上实践:百度智能云等平台可借助对象存储存放采样数据、容器平台承载分布式采样与训练、日志服务与监控告警跟踪奖励分布与梯度范数等指标。建议按场景组合使用,以实际测试结果为准。
六、相关概念区别
- 监督微调:拟合示范数据分布;扩散式强化学习优化奖励期望,并显式控制与参考策略的距离。
- 拒绝采样微调(best-of-n 后做微调):只用高奖励样本,本质是 advantage 二值化的模仿学习;扩散式强化学习通常同时利用正负样本。
- 面向扩散模型的直接偏好优化(Diffusion-DPO 类):基于离线偏好对,最小化 chosen 与 rejected 的相对概率;扩散式强化学习基于在线采样和标量奖励。
- 语言模型的强化学习对齐(RLHF 类):结构同源,但扩散模型的生成链有数十步,每步动作是上万维的连续中间状态,奖励只在末端给出,因此序列级信用分配和逐点 log-prob 的数值稳定更受关注。
七、使用注意事项
- 噪声调度:σt 太小会让 ∇log π ~ Δt·ε/σ_t 的方差急剧放大;太大则采样质量下降,等效探索失真。应保证 σ_t 远大于网络更新一步引起的速度变化 Δt·‖vθ − v_old‖,使噪声对齐项主导梯度。
- 优势与基线:组内样本数过少时,优势估计噪声大。应做组内标准化,并监控奖励方差。
- 信任域与复用:比率偏离 1 过多时,裁剪会让大量样本梯度归零。应控制单 epoch 迭代次数与学习率,并监控被裁剪样本比例。
- 自比较项:使用未修正的 log-prob 定义时,应监控 v_θ 与 v_old 的差异;差异越大,梯度方向受自身旧速度影响越大。
- 奖励攻击:应结合 KL 约束、奖励模型集成与人工抽检;奖励尺度变化时,需同步调整 KL 系数与优势归一化方式。
- 数值稳定性:log-prob 需在 float32 下计算;若采用不显式计算密度的匹配类目标,可在 bf16 下训练。混合精度下的指数运算应做截断。
- 信用分配:整条链共享末端优势属于粗粒度做法,可尝试按时间步加权或引入中间奖励。
- 工程组织:采样与打分通常是瓶颈,可采用异步采样、推理解算分离、数据队列解耦。prompt 集合的多样性决定泛化上限。
示意性伪代码如下(仅描述流程):
# 通用伪代码,不涉及任何具体框架或工具for iteration in range(num_iters): # 1) 成组采样:同一 prompt 采 G 条,用于组内基线 group = [ sde_sample(model, prompt) for _ in range(G) ] # 得到 x_0 与各步 x_t, x_{t+1} rewards = [ reward_fn(x0) for (x0, _) in group ] adv = normalize( (np.array(rewards) - rewards.mean()) / (rewards.std() + eps) ) # 2) 按所选方法构造 loss if method == "sde_cli": # 逐 step 计算 advantage 加权的对数概率(log-prob 在 float32 下计算) loss = sum( A * log_prob(x_next, mu=v_theta(x, t), sigma=s_t) for (x0, steps), A in zip(group, adv) for x, x_next, t in steps ) elif method == "awm": # 优势加权流匹配回归,可设 w(A) = max(A, 0) 或 exp(A / alpha) loss = sum( w(A) * mse(v_theta(x_t, t), flow_target(x0, x_t)) for (x0, _), A in zip(group, adv) for x_t, t in sample_interpolations(x0) ) elif method == "nft": # 前向过程:A > 0 学 stay,A <= 0 学 jump,|A| 控制贡献强度 loss = sum( (1 if A > 0 else 0) * loss_stay(model, x0, A) + (1 if A <= 0 else 0) * loss_jump(model, x0, A) for (x0, _), A in zip(group, adv) ) loss.backward() # optimizer.step(),并监控 KL、裁剪比例与奖励分布
八、总结
回到定义本身:扩散式强化学习是以扩散/流匹配采样链为策略、以奖励或组内相对优势为监督信号、以 KL 约束为护栏的强化学习后训练范式。
通过推导三类代表性方案的梯度与等效 loss 可以看到,它们本质上是同一件事:
- SDE-CLI 的梯度近似(修正后严格)等于 advantage 加权的奖励梯度,其等效 loss 是“噪声对齐线性项 + 速度二次惩罚”。
- AWM 把梯度重写为按优势加权的流匹配回归。
- NFT 把优势编码为前向过程上的靠近或远离信号。
三者只在“优势如何变成监督信号”上不同,因此共享“样本效率与稳定性权衡”的规律。实际选型可遵循以下思路:
- 追求简单实现与低方差,优先 AWM;
- 已有采样与奖励链路、需要在线探索,选 SDE-CLI 并关注速度差项;
- 优势可以离线复用,选 NFT。
无论采用哪种方法,奖励质量、噪声调度、信任域和 KL 约束都决定了成败。理解梯度的来源与等效形式,比单纯调参更能帮助开发者判断训练为何有效、何时失效。