简介:扩散模型(Diffusion Model)是一类通过“逐步加噪”与“逐步去噪”学习数据分布的生成式模型,训练目标简单稳定,生成结果多样,并且支持文本、图像、结构等多种条件控制。本文系统解释扩散模型的定义、前向与反向过程、去噪网络、采样器和条件控制等核心组件,并介绍其在图像视频生成、语音音频、决策优化、强化学习与偏好优化等场景中的应用,帮助读者建立清晰认知,做出合理选型。
扩散模型是一类生成式模型。它的基本思想是把“生成数据”转化为“学会还原被破坏的数据”:
类比来说,前向过程像把一张照片逐渐浸没在雪花噪点中,反向过程则是训练一个“去噪师”,仅凭当前这张满是噪点的照片,推断出上一步噪点更少的样子。掌握了“猜测去噪”的能力,模型就能从随机噪声中生成全新样本。
从技术视角看,扩散模型是“固定加噪过程 + 可学习去噪网络”的组合;从使用视角看,它像一个参数化的“数据分布还原器”:给定噪声和可选的条件信息,就能产出符合要求的新样本。下面从不同视角进一步解释。
技术视角。扩散模型属于隐变量生成模型,由两部分组成:
数学视角。用 x₀ 表示真实数据,前向过程定义为如下马尔可夫链:
q(x_t | x_{t-1}) = N(x_t; sqrt(1 - β_t) · x_{t-1}, β_t · I)
其中 β_t 是第 t 步的噪声强度。该过程可以合并为直接由 x₀ 采样任意时刻 x_t 的公式:
x_t = sqrt(ᾱ_t) · x₀ + sqrt(1 - ᾱ_t) · ε, ε ~ N(0, I), ᾱ_t = ∏(1 - β_i)
直觉上,ᾱ_t 从接近 1 逐渐衰减到接近 0:前期数据占主导,模型能看到大致内容;中期信号与噪声相当;后期几乎是纯噪声,只保留极弱的原始信息。
模型的训练目标是最大化数据似然的变分下界。经过合理简化后,它与“预测所加噪声的均方误差”等价。反向过程对应一个条件高斯分布,其均值可由网络预测的噪声推导得出。该目标还与去噪分数匹配等价,网络本质上是在学习数据分布的“得分函数”,即对数概率密度的梯度。
使用视角。工程人员通常不需要完整的数学推导也能用好扩散模型,可以把它理解为三个要素的组合:
# 扩散模型通用示意代码(伪代码,与具体框架无关)# ---------- 训练 ----------def train_step(model, x0, schedule):# x0: 一个 batch 的真实数据,如归一化后的图像张量t = torch.randint(0, schedule.num_steps, (x0.shape[0],)) # 每个样本随机采样一个时间步eps = torch.randn_like(x0) # 真实噪声 εxt = schedule.add_noise(x0, t, eps) # 按公式 x_t = √ᾱ_t·x₀ + √(1-ᾱ_t)·ε 加噪eps_hat = model(xt, t) # 去噪网络预测噪声return ((eps_hat - eps) ** 2).mean() # 简化训练目标:噪声均方误差# ---------- 采样 ----------def sample(model, schedule, shape):x = torch.randn(shape) # 起点:标准高斯噪声 x_Tfor t in reversed(range(schedule.num_steps)): # 从 T 逐步去噪到 0eps_hat = model(x, t)x = schedule.reverse_step(x, eps_hat, t) # 按反向过程更新,可带随机项return x # 输出 x_0,即生成样本
在扩散模型兴起之前,深度生成模型主要有三类:
扩散模型在2020年前后进入主流视野,研究者在非平衡热力学与去噪分数匹配等工作的基础上,提出以“逐步去噪”为核心的概率生成模型。此后,各类改进在训练策略、采样速度、架构和条件控制等方面不断演进。
它广受关注的原因,可以归结为以下几点:
一个典型的扩散模型系统通常由以下模块构成:
训练时,对每个训练样本随机选择一个时间步 t,按公式生成带噪样本 x_t,再让网络从 x_t 和 t 中预测所添加的噪声 ε。损失函数为预测噪声与真实噪声的均方误差。这样,每个样本在每个时间步都可以构造一个训练样本对,监督信号充足且目标明确。
需要强调,训练过程本身并不完整模拟采样:它只训练网络完成“任意一步去噪”的局部任务,而“多步串联形成完整生成”是在采样阶段实现的。这也是扩散模型区别于单步生成模型的关键。
生成时,从标准高斯噪声 xT 开始,反复调用去噪网络,逐步得到 x{T-1}、x_{T-2},直至 x₀。以最简单的去噪更新形式表示:
x_{t-1} = (1 / sqrt(1 - β_t)) · ( x_t - β_t / sqrt(1 - ᾱ_t) · ε_θ(x_t, t) ) + σ_t · z
其中 ε_θ 是网络预测的噪声,σ_t·z 为随机项(确定性采样器可将其置零)。
这一过程可以分成三个阶段理解:
采样步数是一个关键权衡点:步数越多,通常细节越丰富、质量越稳定,但耗时越长;步数过少则容易出现结构崩坏或细节缺失。为此,业界发展出求解器加速、少步蒸馏、特征复用与缓存等技术。
条件生成的核心在于让去噪过程“朝着条件所描述的方向走”。以无分类器引导为例,设 c 为条件(如文本描述),每个时间步的计算为:
ε̃ = ε_θ(x_t, ∅) + w · ( ε_θ(x_t, c) - ε_θ(x_t, ∅) )
其中 ∅ 表示无条件输入,w 为引导强度。当 w > 1 时,条件预测与无条件预测之差被放大,生成结果更贴合条件;但 w 过大常导致画面过饱和、对比度过高、纹理重复等“过度引导”现象,需要结合实际需求调整。
企业内容生产与管理场景:在合规前提下,用于营销素材生成、设计辅助、商品图处理、数据增强等。在云上落地时,通常依托通用的产品类目:
原始资料中关于在线强化学习与偏好优化的讨论,揭示了扩散模型的一个重要延伸方向:它不只是“生成好看的内容”,还可以作为决策模型被优化。
在线强化学习指策略用自己产生的数据(状态、动作、奖励构成的轨迹数据)进行学习,属于“在试错中改进”的范式。它的主要缺点有两个:
一种主流策略梯度方法采用优势函数来降低方差:把动作价值减去状态价值作为“相对好坏”的度量。优势函数常用广义优势估计(GAE)计算,它在偏差与方差之间做了可调的权衡。这样,策略更新只关注“比平均更好或更差”的部分,从而缓解高方差问题。
当策略以扩散模型的形式表示时,一次“动作生成”本身就是一个多步去噪过程,这带来两个特点:
因此,实际使用中常见两种思路:
在策略优化层面,一种直观做法是用强化学习算法估计的优势(如 GAE)作为权重,去加权扩散模型的去噪损失:优势高的样本被更充分地学习,优势低的样本被弱化,从而把策略推向高回报行为。不过,这种基于重启分布的采样方式与标准策略梯度的理论假设并不完全一致,实现时需要仔细设计,并防范训练不稳定、分布漂移等问题。
偏好优化是另一类不显式建模奖励函数的思路。以面向语言模型的直接偏好优化(DPO)为例,其核心是让同一提示下“更优回答”的模型概率高于“较差回答”的概率,损失函数直接建立在成对偏好数据之上。2024年以来,研究者开始将类似思想引入扩散语言模型,即用“文本生成—逐步去噪还原—比较似然”的方式衡量生成结果的好坏,再用排序型偏好损失进行优化。也有近期研究提出把扩散过程与排序偏好优化相结合的新方法,进一步探索扩散模型在偏好对齐上的潜力。
这里需要客观说明:这类方法目前仍处于研究探索阶段,在稳定性、评估方式和工程成熟度上,与成熟的生产级方案仍有差距,选型时应充分评估。
扩散模型与强化学习、偏好优化的关系可以概括为:
| 视角 | 扩散模型扮演的角色 | 优化方式 |
|---|---|---|
| 监督生成 | 从数据中学习去噪 | 噪声预测损失 |
| 强化学习 | 策略(动作或轨迹的生成器) | 优势加权、策略改进 |
| 偏好优化 | 可比较似然的生成分布 | 成对偏好或排序损失 |
| 对比对象 | 生成方式 | 训练目标 | 与扩散模型的主要区别 |
|---|---|---|---|
| GAN | 单步前向生成 | 生成器与判别器对抗 | 无迭代去噪;训练稳定性与多样性通常弱于扩散模型,但采样更快 |
| VAE | 编码器压缩、解码器重构 | 似然下界(重构 + 正则) | 单步解码;常作为扩散模型的潜空间压缩器 |
| 自回归模型 | 按序逐元素生成 | 下一元素的条件似然 | 串行生成;扩散模型并行去噪,无固定生成顺序 |
| 流匹配 / 连续归一化流 | 学习连续变换或速度场 | 匹配目标分布的速度场 | 与扩散模型思想相近,训练目标更直接,求解常微分方程即可得到样本 |
| 分数匹配 / 能量模型 | 依据得分函数采样 | 拟合对数密度的梯度 | 扩散模型可视为其多尺度、多噪声水平的规模化实现 |
需要说明的是,这些概念之间并非互相替代,更多是“互补与组合”的关系。例如,潜空间扩散本身就包含一个自编码类的压缩器,VAE 与扩散模型的结合已是常见范式。
扩散模型的核心定义可以浓缩为一句话:通过“逐步加噪—逐步去噪”学习数据分布的生成式模型。它以简单稳定的训练目标、良好的分布覆盖能力和灵活的条件控制机制,成为当前生成式技术的重要基础。
它的能力边界也较为清晰:生成质量高,但多步采样带来计算成本;分布刻画能力强,但在延迟敏感或低多样性需求的场景中并非最优选择;在决策、强化学习与偏好优化等方向的延伸,展现了广阔前景,但工程成熟度仍有待提升。
理解“它是什么、为什么这样设计、适合什么场景”,是合理选型的前提。在实际落地中,可结合云端通用的计算、存储与监控等能力构建完整链路。在百度智能云上,开发者可依据官方文档选择合适的产品与配置,让扩散模型的能力更好地服务于业务目标。