简介:DiffusionART是一种面向图像和视频生成的在线Diffusion RL算法,旨在解决扩散模型后训练中的效率与稳定性难题。本文深入解析其底层机制,探讨其如何通过支持ODE采样、兼容不可微奖励等特性,突破传统逆过程RL信用分配差与正过程RL易崩溃的瓶颈,帮助开发者快速掌握该算法的核心逻辑与应用边界。
在生成式AI领域,扩散模型后训练技术对于提升视频和图像生成的视觉质量与运动合理性至关重要。DiffusionART是一种新兴的在线扩散模型强化学习算法。它将强化学习的优化目标与扩散模型的去噪过程深度融合,通过支持确定性ODE采样、不要求奖励模型可微以及自然适配多种奖励形式,实现了极高的样本效率和训练稳定性。本文将深度拆解DiffusionART的底层运行机制,探讨其如何解决传统扩散模型后训练中的痛点。
在DiffusionART提出之前,扩散模型的RL后训练主要分为两种范式,它们各自存在难以克服的底层缺陷:
逆过程RL(Reverse-process RL)
这种范式更接近传统的RL框架,它将扩散模型的反向去噪过程建模为马尔可夫决策过程(MDP),通过ODE到SDE的转换来计算策略梯度。
正过程RL(Forward-process RL)
这种范式更接近扩散模型的监督训练。它先通过模型生成结果并计算奖励,然后对生成结果重新加噪(正向过程),通过奖励加权的正负双分支进行回归。
业界曾对正过程RL存在两个未解的疑问:其一,在理论推导中,朝正样本分布靠近与远离负样本分布应该指向相同的梯度方向,为什么实践中少一个分支就会崩溃?其二,为什么必须依赖离线策略才能稳定,在线策略和离线策略在扩散连续空间RL中的本质区别究竟是什么?
要理解DiffusionART的突破,需要先明确几个核心概念:
DiffusionART的设计旨在打破上述两种范式的局限。其完整的数据流转与状态变化流程如下:
第一步:输入与采样
系统接收文本Prompt等条件输入,扩散模型使用ODE采样器生成图像或视频样本。由于采用确定性ODE采样,相同输入在相同噪声初始状态下的生成轨迹是一致的,这为后续稳定的梯度计算奠定了基础。
第二步:奖励计算
生成的样本被送入奖励模型进行评估。DiffusionART对奖励模型的形式极为包容,无论是连续的标量奖励,还是离散的二值偏好奖励,甚至是不可微的外部评估器,都能直接接入。奖励信号被收集并转化为用于更新策略的权重。
第三步:在线策略更新
这是DiffusionART区别于传统正过程RL的核心环节。算法不依赖复杂的EMA离线策略数据池,而是直接使用当前策略生成的数据进行在线更新。它通过特定的梯度截断和方差缩减机制,重新设计了去噪过程中的信用分配逻辑,使得高奖励样本对应的去噪轨迹被强化,而不会因为无差别分配导致梯度被稀释。
第四步:输出与收敛
经过迭代更新,模型参数逐步向高奖励分布靠拢。由于算法内部消除了正负双分支的强依赖,且无需针对不同任务进行复杂的超参数调优,模型能够快速收敛至高视觉质量和运动质量的生成状态。
传统逆过程RL慢,是因为SDE采样引入了额外的随机性,且信用分配差。DiffusionART支持ODE采样,减少了轨迹中的随机扰动。同时,它改进了信用分配机制,使得从最终奖励回传到初始噪声的梯度路径更加直接且有效。在相同算力下,这种机制使得模型达到目标奖励水平的速度大幅提升,据研究测试,相较于传统逆过程和正过程RL方案,其达到后期平均奖励水平的速度可提升10倍以上。
正过程RL之所以崩溃,是因为在连续空间中,单纯朝正样本回归容易导致模式坍缩,而负样本分支起到了正则化作用,防止模型坍缩到某个局部最优解。DiffusionART通过在线RL的探索与利用平衡机制,在策略更新时引入了合理的KL散度约束或隐式信任区域约束,使得模型在向高奖励区域移动的同时,不会偏离原始预训练分布太远。这从本质上替代了负样本分支的防坍缩作用,因此无需强制联合训练。
传统方案依赖离线策略是因为旧数据可以平滑梯度波动。但在扩散模型这种高维连续空间中,离线数据由于模型参数的快速迭代,很容易变成“过时”数据,导致更新方向错误。DiffusionART通过算法层面的重新推导,证明了在特定的去噪轨迹定义下,直接使用当前模型生成的在线数据进行更新是可行的,且能带来更快的收敛速度,从而免去了维护庞大经验回放池和计算EMA的开销。
技术优势:
边界条件:
DiffusionART通过精巧的算法设计,弥合了逆过程RL与正过程RL之间的理论鸿沟。它摒弃了繁重的EMA离线策略和脆弱的正负双分支依赖,转而通过确定性ODE采样、优化的信用分配以及兼容黑盒奖励的在线更新机制,构建了一个高效、稳定且可扩展的扩散模型后训练框架。这一原理不仅为视频和图像生成模型的强化学习对齐提供了新的范式,也为未来多模态大模型的后训练优化指明了方向。