什么是扩散模型?原理、能力与适用场景详解

作者:狼烟四起2026.11.18 11:46浏览量:0

简介:扩散模型(Diffusion Model)是一类通过“逐步加噪”与“逐步去噪”学习数据分布的生成式模型,训练目标简单稳定,生成结果多样,并且支持文本、图像、结构等多种条件控制。本文系统解释扩散模型的定义、前向与反向过程、去噪网络、采样器和条件控制等核心组件,并介绍其在图像视频生成、语音音频、决策优化、强化学习与偏好优化等场景中的应用,帮助读者建立清晰认知,做出合理选型。

一、什么是扩散模型

扩散模型是一类生成式模型。它的基本思想是把“生成数据”转化为“学会还原被破坏的数据”:

  1. 按照预设规则,不断向真实数据中加入高斯噪声,直到数据彻底变成近似无结构的纯噪声;
  2. 再训练一个神经网络学习逆向过程,从纯噪声出发,一步一步去除噪声,最终“还原”出与训练数据同分布的样本。

类比来说,前向过程像把一张照片逐渐浸没在雪花噪点中,反向过程则是训练一个“去噪师”,仅凭当前这张满是噪点的照片,推断出上一步噪点更少的样子。掌握了“猜测去噪”的能力,模型就能从随机噪声中生成全新样本。

从技术视角看,扩散模型是“固定加噪过程 + 可学习去噪网络”的组合;从使用视角看,它像一个参数化的“数据分布还原器”:给定噪声和可选的条件信息,就能产出符合要求的新样本。下面从不同视角进一步解释。

技术视角。扩散模型属于隐变量生成模型,由两部分组成:

  • 前向过程:按预先设定的噪声调度逐步破坏数据,没有需要学习的参数;
  • 反向过程:由神经网络参数化,负责估计每一步去噪所需的变换,是模型训练与推理的主体。

数学视角。用 x₀ 表示真实数据,前向过程定义为如下马尔可夫链:

  1. q(x_t | x_{t-1}) = N(x_t; sqrt(1 - β_t) · x_{t-1}, β_t · I)

其中 β_t 是第 t 步的噪声强度。该过程可以合并为直接由 x₀ 采样任意时刻 x_t 的公式:

  1. x_t = sqrt(ᾱ_t) · x₀ + sqrt(1 - ᾱ_t) · ε, ε ~ N(0, I), ᾱ_t = ∏(1 - β_i)

直觉上,ᾱ_t 从接近 1 逐渐衰减到接近 0:前期数据占主导,模型能看到大致内容;中期信号与噪声相当;后期几乎是纯噪声,只保留极弱的原始信息。

模型的训练目标是最大化数据似然的变分下界。经过合理简化后,它与“预测所加噪声的均方误差”等价。反向过程对应一个条件高斯分布,其均值可由网络预测的噪声推导得出。该目标还与去噪分数匹配等价,网络本质上是在学习数据分布的“得分函数”,即对数概率密度的梯度。

使用视角。工程人员通常不需要完整的数学推导也能用好扩散模型,可以把它理解为三个要素的组合:

  • 一个可训练的去噪网络;
  • 一套加噪与去噪规则;
  • 一个反复调用网络的采样循环。
  1. # 扩散模型通用示意代码(伪代码,与具体框架无关)
  2. # ---------- 训练 ----------
  3. def train_step(model, x0, schedule):
  4. # x0: 一个 batch 的真实数据,如归一化后的图像张量
  5. t = torch.randint(0, schedule.num_steps, (x0.shape[0],)) # 每个样本随机采样一个时间步
  6. eps = torch.randn_like(x0) # 真实噪声 ε
  7. xt = schedule.add_noise(x0, t, eps) # 按公式 x_t = √ᾱ_t·x₀ + √(1-ᾱ_t)·ε 加噪
  8. eps_hat = model(xt, t) # 去噪网络预测噪声
  9. return ((eps_hat - eps) ** 2).mean() # 简化训练目标:噪声均方误差
  10. # ---------- 采样 ----------
  11. def sample(model, schedule, shape):
  12. x = torch.randn(shape) # 起点:标准高斯噪声 x_T
  13. for t in reversed(range(schedule.num_steps)): # 从 T 逐步去噪到 0
  14. eps_hat = model(x, t)
  15. x = schedule.reverse_step(x, eps_hat, t) # 按反向过程更新,可带随机项
  16. return x # 输出 x_0,即生成样本

二、发展背景与核心价值

在扩散模型兴起之前,深度生成模型主要有三类:

  • 生成对抗网络(GAN):通过生成器与判别器的对抗博弈进行训练,单步生成、采样速度快、图像清晰。但训练对超参数敏感,容易出现模式坍缩(只生成少数几类样本)和不收敛等问题。
  • 变分自编码器(VAE):通过编码器压缩、解码器重构来建模数据分布,训练稳定并带有隐变量。但由于优化的是似然下界,生成结果往往偏模糊。
  • 自回归模型:按固定顺序逐元素生成数据,拟合概率分布的能力强,但采样过程严格串行、难以并行,并且受生成顺序约束。

扩散模型在2020年前后进入主流视野,研究者在非平衡热力学与去噪分数匹配等工作的基础上,提出以“逐步去噪”为核心的概率生成模型。此后,各类改进在训练策略、采样速度、架构和条件控制等方面不断演进。

它广受关注的原因,可以归结为以下几点:

  1. 训练稳定:目标是简单的回归任务,没有对抗博弈,梯度行为可预测;
  2. 分布覆盖好:从随机噪声出发、逐步去噪的采样方式,使模型更倾向覆盖数据分布中的多种模式;
  3. 保真度与多样性兼顾:输出通常细节丰富,又保持较高的多样性;
  4. 条件控制灵活:可通过条件注入、引导采样和额外的控制结构,实现文本、图像、掩码、布局等多种条件的联合约束;
  5. 适配多种数据类型:既适用于图像、视频、音频等连续数据,也可用于文本等离散序列,并延伸到决策与控制领域。

三、核心组成

一个典型的扩散模型系统通常由以下模块构成:

  1. 前向加噪过程与噪声调度:定义数据如何被逐步破坏。调度曲线(如线性调度、余弦调度)决定了各时间步的信号与噪声比例,直接影响训练效果与样本质量。
  2. 去噪网络:模型的核心,常见主干有卷积类与基于自注意力的架构。输入为带噪数据和时间步信息,输出噪声预测,有的设计也会预测原始数据或“速度”等中间量。
  3. 时间步嵌入与条件注入机制:时间步信息经嵌入后融入网络,让同一套参数在不同去噪阶段表现出不同行为;文本、类别、图像等条件通常通过嵌入、交叉注意力或拼接等方式注入。
  4. 采样器:决定如何从噪声一步步走到样本。随机采样器在每步引入新的随机性;确定性采样器在给定起点和条件下输出固定结果,便于复现。少步采样与蒸馏技术还能将采样步数大幅压缩。
  5. 条件与引导机制:包括无分类器引导(通过调节条件预测与无条件预测之差来控制条件强度),以及基于参考网络、掩码、布局、深度、边缘等附加信息的控制方式。
  6. 潜空间扩散结构:先用自编码类模型把数据压缩到低维潜空间,再在潜空间中进行扩散,可显著降低计算与存储开销,是当前高分辨率生成的主流做法之一。

四、工作原理:从训练到生成

1. 训练阶段:学习“一步去噪”

训练时,对每个训练样本随机选择一个时间步 t,按公式生成带噪样本 x_t,再让网络从 x_t 和 t 中预测所添加的噪声 ε。损失函数为预测噪声与真实噪声的均方误差。这样,每个样本在每个时间步都可以构造一个训练样本对,监督信号充足且目标明确。

需要强调,训练过程本身并不完整模拟采样:它只训练网络完成“任意一步去噪”的局部任务,而“多步串联形成完整生成”是在采样阶段实现的。这也是扩散模型区别于单步生成模型的关键。

2. 采样阶段:多步去噪生成

生成时,从标准高斯噪声 xT 开始,反复调用去噪网络,逐步得到 x{T-1}、x_{T-2},直至 x₀。以最简单的去噪更新形式表示:

  1. x_{t-1} = (1 / sqrt(1 - β_t)) · ( x_t - β_t / sqrt(1 - ᾱ_t) · ε_θ(x_t, t) ) + σ_t · z

其中 ε_θ 是网络预测的噪声,σ_t·z 为随机项(确定性采样器可将其置零)。

这一过程可以分成三个阶段理解:

  • 初期:噪声占绝对主导,网络主要推断整体轮廓、构图与大致色调;
  • 中期:信号与噪声相互交织,逐步确定物体的形状、位置与纹理;
  • 后期:信号占主导,网络主要进行细节刻画与去残噪。

采样步数是一个关键权衡点:步数越多,通常细节越丰富、质量越稳定,但耗时越长;步数过少则容易出现结构崩坏或细节缺失。为此,业界发展出求解器加速、少步蒸馏、特征复用与缓存等技术。

3. 条件生成:引导采样

条件生成的核心在于让去噪过程“朝着条件所描述的方向走”。以无分类器引导为例,设 c 为条件(如文本描述),每个时间步的计算为:

  1. ε̃ = ε_θ(x_t, ∅) + w · ( ε_θ(x_t, c) - ε_θ(x_t, ∅) )

其中 ∅ 表示无条件输入,w 为引导强度。当 w > 1 时,条件预测与无条件预测之差被放大,生成结果更贴合条件;但 w 过大常导致画面过饱和、对比度过高、纹理重复等“过度引导”现象,需要结合实际需求调整。

五、典型应用场景

  1. 图像生成与编辑:文生图、图生图、图像修复、局部重绘、风格迁移、超分辨率等。扩散模型在这类任务中的优势在于细节丰富、多样性高,并且能够方便地叠加多种条件。
  2. 视频与三维内容生成:通过引入时间维度或三维结构约束,用于短视频生成、视频插帧与增强,以及点云、纹理等三维资产的生成。长视频的一致性问题(物体闪烁、前后帧不协调)仍是当前的研究重点。
  3. 语音与音频处理:文本转语音、歌声合成、语音增强与分离、通用音频生成等。音频扩散模型常以频谱图为建模对象,兼顾音质自然度与韵律多样性。
  4. 科学计算与结构化数据生成:用于分子构型生成、蛋白质结构研究、材料结构探索、时间序列合成以及表格数据生成等。这类场景强调分布约束,例如生成数据须与原始数据在统计特性上保持一致。
  5. 决策与控制:扩散策略:把动作序列或轨迹看作待生成的数据,用扩散模型作为策略的表达形式,可用于模仿学习与机器人控制。它能刻画多模态的动作分布,面对“遇到障碍物可左绕也可右绕”这类多解场景时,比单峰分布策略更具灵活性。在工程实现中,常结合动作平滑、执行时序错位补偿等技术,降低连续动作带来的抖动与误差累积。
  6. 强化学习与偏好优化:扩散模型既可充当策略模型,也可被优化目标直接调整,详见下一节。
  7. 企业内容生产与管理场景:在合规前提下,用于营销素材生成、设计辅助、商品图处理、数据增强等。在云上落地时,通常依托通用的产品类目:

    • 对象存储:存放训练数据与生成结果;
    • 容器平台:承载训练与推理任务;
    • 消息队列:解耦异步生成请求;
    • 监控告警与日志服务:跟踪耗时、失败率与资源使用;
    • 身份认证与访问控制:管理资源与数据权限;
    • 内容分发:加速图片、视频等结果的分发。

    例如,在百度智能云上,开发者可基于上述通用能力搭建完整的扩散模型应用链路,具体以官方文档为准。

六、延伸:扩散模型与强化学习、偏好优化的结合

原始资料中关于在线强化学习与偏好优化的讨论,揭示了扩散模型的一个重要延伸方向:它不只是“生成好看的内容”,还可以作为决策模型被优化。

1. 在线强化学习的高方差问题

在线强化学习指策略用自己产生的数据(状态、动作、奖励构成的轨迹数据)进行学习,属于“在试错中改进”的范式。它的主要缺点有两个:

  • 方差高:回报估计依赖采样轨迹,单次采样结果波动大;
  • 样本效率低:每轮新采样的数据往往用完即弃。

一种主流策略梯度方法采用优势函数来降低方差:把动作价值减去状态价值作为“相对好坏”的度量。优势函数常用广义优势估计(GAE)计算,它在偏差与方差之间做了可调的权衡。这样,策略更新只关注“比平均更好或更差”的部分,从而缓解高方差问题。

2. 扩散模型作为策略

当策略以扩散模型的形式表示时,一次“动作生成”本身就是一个多步去噪过程,这带来两个特点:

  • 表达能力强:可以表示多峰、多模态的动作分布;
  • 计算开销大:每一步决策都包含多次网络前向计算。

因此,实际使用中常见两种思路:

  • 动作分块:一次生成一段连续动作,按时间顺序执行,减少调用次数;
  • 少步生成:将多步去噪蒸馏为少量步,甚至单步生成。

在策略优化层面,一种直观做法是用强化学习算法估计的优势(如 GAE)作为权重,去加权扩散模型的去噪损失:优势高的样本被更充分地学习,优势低的样本被弱化,从而把策略推向高回报行为。不过,这种基于重启分布的采样方式与标准策略梯度的理论假设并不完全一致,实现时需要仔细设计,并防范训练不稳定、分布漂移等问题。

3. 从偏好优化视角理解

偏好优化是另一类不显式建模奖励函数的思路。以面向语言模型的直接偏好优化(DPO)为例,其核心是让同一提示下“更优回答”的模型概率高于“较差回答”的概率,损失函数直接建立在成对偏好数据之上。2024年以来,研究者开始将类似思想引入扩散语言模型,即用“文本生成—逐步去噪还原—比较似然”的方式衡量生成结果的好坏,再用排序型偏好损失进行优化。也有近期研究提出把扩散过程与排序偏好优化相结合的新方法,进一步探索扩散模型在偏好对齐上的潜力。

这里需要客观说明:这类方法目前仍处于研究探索阶段,在稳定性、评估方式和工程成熟度上,与成熟的生产级方案仍有差距,选型时应充分评估。

扩散模型与强化学习、偏好优化的关系可以概括为:

视角 扩散模型扮演的角色 优化方式
监督生成 从数据中学习去噪 噪声预测损失
强化学习 策略(动作或轨迹的生成器) 优势加权、策略改进
偏好优化 可比较似然的生成分布 成对偏好或排序损失

七、与相关概念的区别

对比对象 生成方式 训练目标 与扩散模型的主要区别
GAN 单步前向生成 生成器与判别器对抗 无迭代去噪;训练稳定性与多样性通常弱于扩散模型,但采样更快
VAE 编码器压缩、解码器重构 似然下界(重构 + 正则) 单步解码;常作为扩散模型的潜空间压缩器
自回归模型 按序逐元素生成 下一元素的条件似然 串行生成;扩散模型并行去噪,无固定生成顺序
流匹配 / 连续归一化流 学习连续变换或速度场 匹配目标分布的速度场 与扩散模型思想相近,训练目标更直接,求解常微分方程即可得到样本
分数匹配 / 能量模型 依据得分函数采样 拟合对数密度的梯度 扩散模型可视为其多尺度、多噪声水平的规模化实现

需要说明的是,这些概念之间并非互相替代,更多是“互补与组合”的关系。例如,潜空间扩散本身就包含一个自编码类的压缩器,VAE 与扩散模型的结合已是常见范式。

八、使用注意事项

  1. 推理成本:多步采样带来较高的计算与延迟开销。应根据业务对时延的要求,选择步数、采样器和少步蒸馏方案,并通过模型量化、算子优化、结果缓存、批处理与异步任务队列等手段改善吞吐。
  2. 训练资源:高分辨率、大规模数据训练对计算与存储要求较高。优先考虑潜空间方案、混合精度、梯度检查点等通用工程手段。
  3. 条件强度与可控性:引导强度、控制结构权重等参数需要调参。过度引导会损害画面自然度,条件冲突时也可能出现结构错乱,应通过多组对照实验确定合适配置。
  4. 多样性与保真度的平衡:采样参数和训练数据分布会影响结果多样性。数据重复或清洗不足时,容易出现模式坍缩式的“千篇一律”输出。
  5. 数据合规与安全:训练数据的版权与授权、人脸与个人信息的使用,以及生成内容的合规审核,都应在上线前明确。建议建立输入输出审核、溯源标记和访问权限控制等机制。
  6. 评估方法:图像任务可借助 FID 等分布距离指标,以及文本与图像的一致性度量;但实际效果仍需人工评测与业务指标共同验证。对决策与控制任务,应以任务成功率和安全性指标为准。
  7. 场景匹配:对延迟极敏感、对多样性要求不高的任务,可考虑更轻量的单步生成方案;对需要精细控制和多模态输出的任务,扩散模型更具优势。

九、总结

扩散模型的核心定义可以浓缩为一句话:通过“逐步加噪—逐步去噪”学习数据分布的生成式模型。它以简单稳定的训练目标、良好的分布覆盖能力和灵活的条件控制机制,成为当前生成式技术的重要基础。

它的能力边界也较为清晰:生成质量高,但多步采样带来计算成本;分布刻画能力强,但在延迟敏感或低多样性需求的场景中并非最优选择;在决策、强化学习与偏好优化等方向的延伸,展现了广阔前景,但工程成熟度仍有待提升。

理解“它是什么、为什么这样设计、适合什么场景”,是合理选型的前提。在实际落地中,可结合云端通用的计算、存储与监控等能力构建完整链路。在百度智能云上,开发者可依据官方文档选择合适的产品与配置,让扩散模型的能力更好地服务于业务目标。