简介:本文拆解 DiffusionART 这一面向图像与视频生成的在线扩散强化学习算法:它如何在不要求奖励可微的前提下完成扩散模型后训练,为什么能把视频后训练提速十倍以上,与 GRPO、DPO 等已有路线在目标函数与采样接口上差在哪,标量奖励与二值偏好奖励该如何取舍。文末附可复用的选型检查清单。
DiffusionART 是一个面向图像与视频生成的在线扩散强化学习(Online Diffusion RL)算法,用途是对已训练好的扩散生成模型做后训练(post-training)。三个关键词决定它的行为:
一句话概括它解决的问题:如何让十亿参数级扩散模型的强化学习后训练既稳又快。
三个工程痛点推动了这条路线:纯监督的重建损失与”人类觉得好看”并不等价;真实评价指标(评分模型、人工偏好、规则判定)往往数学上不可微,无法直接反传;视频模型单次采样昂贵,若方法样本效率低,收敛慢、成本高。
扩散强化学习的价值在于把”生成”与”优化目标”解耦——奖励可插拔。DiffusionART 的增量价值则集中在样本效率与训练稳定性上。
以下为示意性伪代码,用于说明流程结构,非特定框架实现,函数均为占位:
for step in range(total_steps):samples = policy.sample_batch(batch_size, use_ode=True) # 1 在线采样rewards = reward_model.score(samples) # 2 打分,奖励无需可微advantages = normalize_within_group(rewards) # 3 组内相对优势loss = policy.compute_objective(samples, advantages) # 4 更新策略optimizer.step(loss)
四步:采样 → 评分 → 在同一提示的一组样本内做相对比较得到相对优势 → 让模型更倾向生成高优势结果。奖励只需”能贴标签”,这套接口因此可以统一处理不同奖励类型。
加速不是单一技巧,而是三个因素叠加:
关于速度口径需说明:“提速十倍以上”指达到相同的后期平均奖励水平所需的训练步数/样本量显著减少。据公开实验,在某百亿参数量级的大规模视频生成模型上做视觉质量与运动质量后训练时,这一相对优势对照两类主流同类扩散强化学习方法均在十倍以上。具体倍数、基线名称、奖励指标与硬件口径会随设置变化,做技术选型时应回到原始论文核对,不宜直接当作普适结论。
| 对比维度 | DPO 类偏好优化 | GRPO / Flow-GRPO 类在线方法 | DiffusionART 的定位 |
|---|---|---|---|
| 数据来源 | 固定的偏好对数据集 | 训练中实时采样 | 在线采样,数据分布始终新鲜 |
| 采样路径 | 不涉及 | 通常依赖随机(SDE)采样以产生探索噪声 | 支持 ODE 确定性采样,主打轨迹稳定与低方差 |
| 奖励接口 | 隐含在偏好对里 | 多面向标量奖励 | 标量与二值偏好奖励共用同一接口,不要求可微 |
| 调参负担 | 温度、β 等敏感 | 组大小、裁剪、采样步数等较敏感 | 目标是显著减少对敏感超参数的依赖 |
大规模视频生成模型的后训练;图文生成质量与人类偏好对齐;清晰度、运动自然度、文本匹配度等多目标联合优化;已有”A 优于 B”标注时的偏好迭代。这类训练对算力敏感,实践中通常配合对象存储、容器编排、分布式训练、监控与日志等通用云服务来管理任务、保存检查点与追踪指标。
奖励形式怎么选:
| 奖励形式 | 适用场景 | 接入成本 | 信号强度 |
|---|---|---|---|
| 标量奖励 | 有连续评分模型或质量回归模型 | 中,需要可用打分器 | 信息量大,梯度方向更细 |
| 二值偏好奖励 | 只有”A 优于 B”这类标注 | 低,标注即可用 | 信息量小,依赖组内比较 |
DiffusionART 的设计取向可以概括为”在线 + 奖励解耦 + 减少调参“:用当前策略实时采样保证数据新鲜,用 ODE 采样压低轨迹方差,用组内相对优势归一化提升梯度信噪比,用”奖励不必可微”的统一接口覆盖标量与偏好两类奖励。四者叠加,才构成了它在公开实验中把视频后训练收敛速度提升十倍以上、达到实用水准的原因。