简介：扩散模型之所以在图像、语音、文本等多类生成任务中表现出更强的稳定性和样本质量，关键在于其通过多尺度噪声扰动将复杂的低密度区域分数估计问题转化为一系列更易学习的去噪任务。本文从分数匹配、数据流形松弛化、采样收敛条件与理论边界等角度，系统解释扩散模型相比传统生成模型的核心机制差异，帮助读者理解其性能优势到底来自哪里，以及在实际使用时需要注意的假设与限制。
扩散模型在生成任务中的表现，常被归因于“生成过程更稳定”“不容易模式坍塌”“样本多样性更好”等经验结论。但这些说法更多是对现象的概括，并没有回答更关键的问题：为什么扩散模型的生成机制能够在复杂数据分布上取得更好的效果？
本文要解释的核心原理是：扩散模型如何通过逐步加噪与去噪，将原本难以直接建模的高维复杂分布，转化为一系列更容易估计的条件分布，并利用分数匹配方法实现高效采样。围绕这一原理，文章会进一步拆解三个问题：
理解这些问题，有助于从底层机制上判断扩散模型适合什么场景、在什么情况下可能受限，以及为什么许多看似不同的生成任务都可以采用扩散建模思路。
生成模型的目标是学习数据背后的概率分布，并从这个分布中采样出新的样本。直观上，如果能够准确知道数据分布，生成任务就变成了一个采样问题。但实际数据往往具有以下特征：
这些特征给生成模型带来了两个直接困难。
第一个困难是概率密度建模困难。传统生成模型若直接对数据分布做参数化建模，需要对数据分布形式做出一定假设。一旦真实分布不符合这些假设，模型就容易在高维空间的低密度区域产生偏差。例如基于能量函数的模型，在低密度区域由于缺少训练样本，能量函数很难被准确学习，导致采样时可能落入不合理的区域。
第二个困难是采样困难。即使学习到了概率密度，从复杂分布中采样本身也非易事。常见的采样方法在高维多模态分布上容易出现混合慢、收敛不稳定等问题。采样过程中的随机性若没有经过合适设计，可能长时间停留在某个局部区域，无法覆盖其他模态。
因此，传统生成模型往往需要在“模型表达能力”和“采样可行性”之间做出权衡。很多情况下，这种权衡导致模型要么表达能力不足，要么采样过程不够稳定。
要理解扩散模型的优势，需要先理解两个基础概念。
对于概率分布 (p(x))，其分数函数定义为对数概率密度的梯度：
[
s(x) = \nabla_x \log p(x)
]
这个函数描述的是：在数据空间中，沿着哪个方向移动可以最快地提高样本属于数据分布的概率。对于生成任务而言，如果能够准确估计分数函数，就可以通过迭代的方式从随机点逐步移动到高概率区域。
分数函数有一个重要特性：它不关心概率密度的归一化常数。对于许多基于能量的模型来说，这个特性非常关键，因为归一化常数通常难以计算。因此，分数匹配类方法天然避开了传统概率建模中的一个困难。
直接在高维空间中估计分数函数仍然困难，因为低密度区域的分数函数缺少数据支撑。去噪分数匹配的做法是：对原始数据加入噪声，得到扰动后的数据分布，然后在扰动分布上学习分数函数。
加入噪声后，原本集中在低维流形附近的数据被扩散到更大的空间中，扰动分布的低密度区域减少，估计分数函数的难度降低。更重要的是，不同强度的噪声会生成不同尺度的扰动分布，模型可以分别在这些扰动分布上学习分数函数，从而形成多尺度分数估计。
从系统角度理解扩散模型，可以将其拆分为两个阶段和若干关键组件。
前向过程是在原始数据上逐步加入噪声的过程。假设原始数据为 (x_0)，经过 (T) 步加噪后得到 (x_T)。每一步的加噪可以描述为：
[
q(xt | x{t-1}) = \mathcal{N}(xt; \sqrt{1-\beta_t}x{t-1}, \beta_t I)
]
其中 (\beta_t) 控制噪声强度。当 (T) 足够大时，(x_T) 近似服从标准高斯分布。
前向过程不包含可学习参数，它是构造训练目标的基础。其主要作用是将复杂的数据分布逐步转化为简单的高斯分布。
反向过程是从噪声中逐步恢复数据的过程。由于无法直接得到真实的反向转移分布，扩散模型用一个参数化模型去近似它：
[
p\theta(x{t-1} | xt) = \mathcal{N}(x{t-1}; \mu_\theta(x_t, t), \sigma_t^2 I)
]
其中 (\mu_\theta) 通常由神经网络预测。训练目标就是让反向过程尽可能接近前向过程的真实逆过程。
在实际实现中，神经网络并不直接输出均值，而是可以输出对噪声的预测或对分数的预测。不同的预测目标在数学上等价，但从训练稳定性和实现便利性上存在差异。这个网络可以看作一个条件分数估计器，它接收扰动后的数据和时间步信息，输出当前扰动分布下的分数估计。
采样调度器决定在推理阶段如何从 (x_T) 迭代到 (x_0)。调度器的设计影响采样效率和样本质量。常见的调度策略会在早期大步去噪、后期小步精修，或采用不同形式的随机微分方程求解器。
扩散模型的完整运行流程可以分为训练流程和采样流程。
第一步，从数据集中采样原始数据 (x_0)。
第二步，随机选择一个时间步 (t)，并根据前向过程采样扰动后的数据 (x_t)。
第三步，将 (x_t) 和时间信息输入分数估计网络，输出对噪声或分数的预测。
第四步，计算预测值与真实噪声之间的损失，并更新网络参数。
这个过程重复进行，直到网络在不同噪声尺度下都能给出可靠的分数估计。
第一步，从标准高斯分布中采样初始噪声 (x_T)。
第二步，将 (x_T) 输入分数估计网络，得到当前状态下的分数估计。
第三步，根据调度器设定的更新规则，从 (xT) 更新到 (x{T-1})。
第四步，重复上述过程，直到得到 (x_0)。
采样的核心在于：每一步只要求模型在当前扰动分布上给出局部准确的分数估计，而不要求一次性学习整个复杂分布。这种分解方式显著降低了单次建模的难度。
真实数据分布通常集中在低维流形附近，这带来一个严重问题：在高维空间的大部分区域，概率密度几乎为零，分数函数无法被有效估计。扩散模型通过加入噪声，使原本尖锐的流形分布变得平滑，数据点被扩散到更广的区域。
这种松弛化带来的直接效果是：扰动后的分布具有更少的低密度空洞，分数估计在更广泛的区域上变得可行。随着噪声尺度增大，扰动分布逐渐接近简单的高斯分布，模型在不同时间步上面对的是不同平滑程度的数据分布。这相当于把原本“非常困难”的分布估计任务拆解为多个“中等困难”或“相对容易”的子任务。
单一尺度的分数估计虽然在平滑分布上有效，但对于最终需要恢复到原始数据分布而言仍不足够。扩散模型通过多个噪声尺度构建条件分数估计网络，不同时间步对应不同尺度的噪声。网络在不同尺度上共享参数，但通过时间信息区分尺度。
这种设计使得模型能够同时学习粗粒度的整体结构和细粒度的局部细节。早期时间步对应强噪声，分数估计更关注整体走向；后期时间步对应弱噪声，分数估计更关注精细结构。
扩散模型的采样过程可以理解为离散化的反向随机微分方程。其收敛性分析通常与朗之万采样相关。朗之万采样的核心迭代形式为：
[
x_{k+1} = x_k + \epsilon \nabla_x \log p(x_k) + \sqrt{2\epsilon} z_k
]
其中 (z_k) 为标准高斯噪声。在数据分布满足一定光滑性条件时，朗之万采样可以在多项式时间内收敛到目标分布。
扩散模型之所以在更复杂的数据上仍然能工作，一方面是因为它并不直接在原始分布上执行朗之万采样，而是在一系列被噪声平滑后的分布上依次采样；另一方面，分数估计的准确性在扰动分布上更容易保证。因此，即便原始数据不满足强对数凹性或对数索波列夫不等式等较强的理论假设，扩散模型在经验层面仍然能够取得较好的采样效果。
但是从理论层面看，这种经验优势尚未获得完全匹配的理论解释。现有分析中，要想严格证明扩散模型采样在多项式时间内收敛，通常仍需要某些假设，例如数据分布满足对数索波列夫不等式。对于明显的多模态分布，这种条件可能不成立。因此，扩散模型在理论和实践之间存在一定差距。
下面用一段通用伪代码说明扩散模型采样过程中分数估计如何引导样本生成。
输入：分数估计网络 score_net, 采样步数 T, 噪声调度参数输出：生成样本 xx = 从高斯分布采样for t from T down to 1:noise_scale = 当前时间步对应的噪声强度score = score_net(x, t)x = x + step_size * score * noise_scale^2if t > 1:x = x + sqrt(2 * step_size) * 高斯噪声return x
这段伪代码的含义是：在每个时间步，网络根据当前扰动状态输出分数估计，该分数指示了向高概率区域移动的方向。采样器沿着分数方向更新当前状态，并加入适量随机噪声以保持采样的随机性。随着时间步推进，噪声尺度逐渐减小，生成样本从粗糙逐步细化到精细。
第一，建模灵活。扩散模型不要求对数据分布的具体形式做强假设，可以应用于连续数据、离散数据以及多种模态数据的生成任务。
第二，训练稳定。相比某些对抗式生成模型，扩散模型的训练目标更明确，损失函数更不容易出现剧烈波动。
第三，样本多样性较好。由于采样过程保留了随机性，并且在多尺度噪声下逐步生成，模型更容易覆盖数据分布的不同模态。
第四，理论可解释性相对较强。扩散模型可以与分数匹配、随机微分方程、朗之万采样等理论工具建立联系，便于进行收敛性和误差分析。
第一，采样速度通常较慢。虽然已有许多加速采样方法，但相比某些单次前向生成的模型，扩散模型仍需要多次迭代。
第二，理论保证依赖于数据分布的假设。虽然实践中表现优异，但当数据分布极端多模态或存在严重低密度区域时，严格的理论收敛保证仍不充分。
第三，分数估计误差可能在采样早期被放大。如果初始噪声区域附近的分数估计不准确，后续采样可能偏离正确轨迹。
加入噪声只是手段，不是根本原因。扩散模型之所以有效，是因为噪声扰动使得分数估计在更广泛的区域上可行，并通过多尺度噪声分解了建模难度。简单地在传统生成模型中加噪声并不能自动获得相同的性能提升。
虽然扩散模型在实践上对数据分布形式非常宽容，但从收敛性分析角度，目前仍有大量理论工作需要一定假设。认为扩散模型“完全不需要假设”是不准确的。更准确的理解是：扩散模型大幅降低了对传统强假设的依赖，在更宽的分布条件下表现出较好的经验效果。
去噪是表层形式，其深层机制是通过分数估计逐步引导样本向高概率区域移动。噪声预测与分数估计存在数学联系，但不能将扩散模型的全部能力简单归因于“去噪”。
扩散模型相比传统生成模型的性能优势，并不是单一因素造成的，而是多个机制共同作用的结果。它通过前向加噪将复杂数据分布转化为一系列更易建模的扰动分布，通过多尺度分数估计降低低密度区域的建模难度，通过迭代采样逐步从简单分布回到数据分布。相比直接学习完整数据分布的传统思路，扩散模型将问题拆解为多个更可控的子问题，从而在生成质量和训练稳定性上获得显著提升。
同时，扩散模型的理论分析仍在发展之中。许多严格收敛结论仍依赖于数据分布的光滑性条件，而真实数据的多模态结构可能使这些条件不成立。因此，扩散模型当前的表现更多体现的是一种“工程上可行的松弛化策略”与“数学上可分析的分数匹配框架”之间的有效结合。理解这种结合背后的原理，比单纯记忆“扩散模型效果更好”这一结论更具实践指导意义。