简介:本文系统讲解扩散模型的核心原理,以去噪扩散概率模型(DDPM)为基石,剖析"前向加噪"与"反向去噪"的完整机制、噪声调度设计、损失函数的简化推导以及训练与采样流程,帮助读者从数学直觉到工程实现,真正理解扩散模型"为什么能从一张纯噪声图中逐步生成高质量样本"。
扩散模型(Diffusion Model)是当前图像生成领域最具代表性的技术路线之一。它的核心思想并不复杂:如果能把一张清晰的图片一步步”污染”成毫无结构的纯噪声,那么理论上只要学会反过来把噪声一步步”净化”回图片,模型就掌握了从噪声到数据分布的生成能力。
本文以扩散模型的基石——去噪扩散概率模型(DDPM,Denoising Diffusion Probabilistic Models)为例,重点回答三个原理性问题:模型内部到底在做什么运算、噪声与图像是如何相互转化的、以及为什么”预测噪声”这个看似简单的目标能撑起整个生成过程。需要说明的是,扩散模型的学术探索并非始于 DDPM,但正是它的成功让这条路线成为主流,后续一系列效果出色的生成模型大多是在这一框架上迭代改进而来。
在扩散模型流行之前,生成建模主要有两条主流路线,理解它们的局限有助于看清扩散模型的定位。
扩散模型换了一个角度:它不去学习一个复杂的”一步到位”的映射,而是把生成任务拆解为成百上千个”去噪”小步骤。每一步只做一件非常简单的事——预测当前图像里混入的噪声。这样做的好处是训练目标非常明确、过程稳定,同时理论上有扎实的概率论支撑。
理解扩散模型,最关键的是抓住两个方向相反的过程。
前向过程是一条固定的、无需学习的”破坏链”。给定一张真实图像 x₀,我们在 T 个时间步里逐步向它添加高斯噪声:
一个非常有用的性质是:借助数学上的重参数化技巧,我们不需要真的逐步走完全过程,就能一步直接算出任意时刻 x_t 的分布。也就是说,从原始图像 x₀ 出发,可以直接采样出第 t 步的带噪图像,这在训练时会极大简化计算。
反向过程才是真正需要模型学习的部分。它从一张纯噪声 xT 出发,逐步去噪,最终还原出一张符合真实数据分布的图像 x₀。由于每一步”真正的去噪方向”无法被精确知道,模型的任务就是:在当前带噪图像 x_t 和时间步 t 的条件下,预测这一步混入的噪声到底长什么样。把噪声估计出来后,就能反推出更干净的上一步 x{t-1}。
从工程视角拆解,一个扩散模型的实现通常包含三个部分:
| 组件 | 职责 | 是否参与训练 |
|---|---|---|
| 噪声调度器 | 定义每一步的噪声强度 β_t,决定加噪与去噪的节奏 | 否(超参数) |
| 去噪网络 | 输入带噪图像与当前时间步,输出对噪声的预测 | 是(核心) |
| 采样器 | 推理阶段按反向公式逐步迭代,把噪声变成图像 | 否(推理逻辑) |
其中去噪网络是整个系统的核心。在早期工作中,它常常是一个基于卷积的网络结构;后续研究也广泛采用带有注意力机制的网络结构。它的输入有两个:一是当前的带噪图像,二是当前的时间步编号 t。时间步信息很关键,因为”第 10 步该去掉多少噪声”和”第 800 步该去掉多少噪声”是完全不同的,网络必须知道自己在净化链路的哪个位置。
这是初学者最容易困惑的地方。表面上模型输出的是噪声,但实际上,一旦准确估计出了这一步混入的噪声,配合已知的前向加噪公式做逆运算,就能还原出上一步的图像。换句话说,噪声预测是手段,图像重建是目的。之所以把训练目标定为预测噪声而非直接预测图像,是因为实验和理论都表明:以噪声为回归目标时,损失在不同时间步上的数值尺度更均衡,训练更稳定、收敛更平滑。
噪声调度表决定了整个扩散过程的”节奏”。调度太快,图像很快被破坏,反向学习难度大;调度太慢,可用的信噪比区间被浪费,生成质量受限。因此,噪声调度的设计直接影响了模型的表达能力与训练难度,是一项需要精心设定的关键超参数。
理论上,扩散模型的训练目标来自变分推断下界。但这个原始目标形式复杂、含有多个加权项。实践中广泛采用的做法是对损失做简化:把 complicated 的加权项统一处理,最终得到一个直观的形式——让模型预测的噪声尽量逼近真实注入的噪声,即最小化两者之间的均方误差。这种简化牺牲了一部分严格的概率下界意义,却显著提升了实际生成质量,是工程与理论之间一次成功的权衡。
反向过程需要迭代 T 步,步数越多,理论上限越高,但推理越慢。这带来一个典型的精度—速度权衡:追求质量就用更多步,追求速度则需要专门的加速采样技术,通过数学上的近似在更少的步数内完成近似去噪。这也是后续大量研究重点优化的方向之一。
# 训练一步x0 = 从数据集取一张真实图像t = 在 [1, T] 中随机采样一个时间步eps = 采样标准高斯噪声xt = sqrt(累积保留系数[t]) * x0 + sqrt(累积噪声系数[t]) * eps # 一步得到带噪图eps_pred = 去噪网络(xt, t) # 预测噪声loss = 均方误差(eps_pred, eps) # 与真实噪声比较loss反向传播,更新网络参数# 采样生成x = 采样标准高斯噪声 # 起点 x_Tfor t from T down to 1:eps_pred = 去噪网络(x, t)x = 反向去噪公式(x, eps_pred, t) # 得到更干净的 x_{t-1}返回 x # 最终生成图像
优势:
限制:
扩散模型的核心逻辑,可以浓缩为一句话:把生成难题拆解为一系列简单的去噪子任务。前向过程用固定规则把数据逐步破坏成纯噪声,反向过程则训练一个网络学会在每个时间步预测噪声、逐步还原图像。整个体系的精妙之处在于,通过一个看似简单的噪声回归目标,加上精心设计的噪声调度与损失简化,就实现了稳定且高质量的生成能力。
理解了 DDPM 这套”加噪—去噪”框架,也就握住了理解后续众多生成模型的钥匙——无论技术如何演进,条件控制、隐空间加速还是采样优化,本质上都是在这套基石之上,针对速度、可控性与效果所做的持续打磨。