简介：扩散模型是一类基于逐步加噪与去噪过程的生成模型，通过估计数据分布在不同噪声强度下的梯度或得分函数来生成样本。本文将围绕其核心机制展开，解释扩散模型为何能绕过对抗训练的不稳定问题，如何通过逆扩散过程重建数据，以及它在样本质量、训练稳定性、逆问题求解等方面的技术优势与应用边界。
扩散模型要解决的核心问题是：如何从一组有限的观测样本出发，学习一个能够逼近真实数据分布的生成模型，从而持续产生与训练数据相似但又不完全相同的新样本。
在生成式建模中，传统思路往往直接定义一个概率密度函数，并通过最大化似然来优化模型参数。但真实数据的分布通常非常复杂，直接建立精确的概率密度函数并不容易。扩散模型采用了一种间接但更稳定的路径：先定义一个逐步向数据加入噪声的过程，使数据最终趋近于简单、已知的分布；再学习一个反向过程，从这个简单分布出发，逐步去除噪声，恢复出符合原始数据分布的新样本。
这一思路的核心优势在于，每一轮去噪只需要完成一个相对简单的局部任务，而不需要一次性生成完整的高维复杂样本。这大幅降低了模型训练的难度，也提升了生成过程的可控性。
在扩散模型受到广泛关注之前，生成模型领域主要存在两类代表性路线：
第一类是显式密度模型。 这类模型试图直接定义数据分布的概率密度函数，例如通过归一化流、自回归模型或变分自编码器等方式进行建模。它们能够提供明确的对数似然，便于理论上进行分析，但在处理高维数据或复杂结构时，模型容量与表达能力往往受到限制。
第二类是隐式生成模型，以生成对抗网络为代表。 生成对抗网络通过一个生成器与判别器之间的对抗博弈来逼近真实数据分布。其优点是生成质量高、推理速度快，但对抗训练过程稳定性较差，容易出现模式坍缩、训练不收敛或梯度消失等问题。
扩散模型的出现，提供了第三条路径。它既不像显式密度模型那样必须严格定义概率密度函数，也不依赖对抗训练。相反，它通过定义一种将数据逐渐噪声化的前向过程，并学习其逆过程，来隐含地估计数据分布。这个过程中不存在判别器与生成器的对抗关系，因此训练目标更加稳定。
理解扩散模型的关键在于“得分函数”这一概念。对于一个概率分布，其得分函数定义为对数概率密度关于输入变量的梯度。直观地说，得分函数指示的是：在样本空间中，沿着哪个方向移动可以让样本更有可能属于当前分布。
扩散模型的基本做法是：先向真实数据逐步加入噪声，每一轮加入的噪声量被精确控制。随着噪声不断增加，数据分布逐渐趋向于一个简单的先验分布，例如各向同性的高斯分布。在反向过程中，模型需要在每一个噪声水平下估计当前扰动数据所处的条件分布的得分函数。一旦得分函数被准确估计，就可以通过类似于梯度上升的方式，将样本从高噪声区域逐步引导回低噪声区域，最终落在真实数据分布附近。
这种做法的好处是，在噪声很强的阶段，数据分布已经接近简单分布，得分函数容易估计；在噪声较弱的阶段，虽然数据更接近真实结构，但模型只需要对已有结构进行细微修正。因此，整个去噪过程被分解为一系列难度适中的步骤。
扩散模型可以拆解为两个相互配合的过程。
前向过程在训练与生成阶段都有重要作用。它的定义是：给定一个真实样本，按照预先设定的噪声调度参数，在多个时间步上逐步向其加入高斯噪声。
该过程不需要学习任何参数，完全由解析公式定义。假设初始样本为真实数据，每一步加噪后得到的中间样本可以表示为原始样本与噪声的加权组合。随着时间步推进，真实信号的系数逐渐减小，噪声的系数逐渐增大。当时间步足够大时，样本几乎完全由高斯噪声构成，与真实数据的信息关联可以忽略不计。
这种可控的前向噪声化是扩散模型能够进行高效训练的基础。因为它允许我们在任意时间步直接计算出对应的扰动样本，而不必逐步模拟所有中间状态。
反向过程的目标是逆转前向加噪过程。它从标准高斯分布中采样一个初始噪声，然后逐步减少噪声成分，恢复出结构化数据。
由于反向过程非常复杂，无法解析地表达，通常使用神经网络来参数化。网络接收当前时间步、当前扰动样本作为输入，输出对噪声成分的预测或对得分函数的估计。然后，根据扩散模型的更新规则，对当前样本进行一步去噪。经过完整的反向迭代后，得到的最终样本即为生成结果。
网络结构通常需要处理不同时间步的信息。常见做法是将时间步编码后嵌入到网络各层中，让模型知道当前处于去噪的哪个阶段，从而调整去噪强度与修正方向。不同时间步对应的噪声水平不同，模型必须学会适应这种变化。
训练扩散模型的典型流程如下：
第一步，从训练集中随机抽取一个真实样本。
第二步，从预先定义的时间步集合中随机选取一个时间步。
第三步，按照该时间步对应的加噪公式，生成扰动样本。该扰动样本包含两部分：原始信号成分与噪声成分。
第四步，将扰动样本与时间步信息输入神经网络，要求网络预测其中包含的噪声成分，或者预测对应的得分函数。
第五步，计算预测值与真实噪声之间的损失，通常采用均方误差。因为前向过程是解析的，所以真实噪声是已知的，这使得训练目标非常明确。
第六步，反向传播更新网络参数。重复以上过程，直到模型在多个噪声水平下都具备可靠的预测能力。
这种训练方式不需要对抗训练，也不需要估计复杂的对数似然。损失函数形式简单，训练过程稳定。
生成阶段从标准高斯分布中采样一个纯噪声向量，然后进入反向迭代：
第一步，将当前噪声样本与当前时间步输入训练好的网络。
第二步，网络输出对噪声成分的预测或对得分函数的估计。
第三步，根据反向扩散更新规则，从当前样本中减去预测出的噪声成分，同时按时间调度加入少量随机扰动，以保证过程符合概率分布转移。
第四步，更新时间步，将去噪后的样本作为下一步输入。
第五步，重复以上步骤，直至时间步归零。此时得到的样本即为最终生成结果。
在实现上，不同时间步的更新强度由噪声调度参数决定。早期步骤主要去除大量噪声，形成整体结构；后期步骤更侧重于细节恢复与局部修正。
扩散模型训练时，网络需要预测的是每一步加入的噪声，或者对应的得分函数。这个目标非常明确，不涉及博弈过程。因为加噪过程是解析定义的，每一步的真实噪声都可以精确获得，所以训练过程可以视为有监督回归问题。这种明确的监督信号使得梯度下降更加稳定。
扩散模型把生成任务拆分为多个时间步，每个时间步的噪声水平不同。在时间步较大时，模型只关心全局结构是否正确；在时间步较小时，模型才需要关注细节。这种由粗到细的生成方式，类似于从大致轮廓逐步精修到最终图像，每一阶段都相对容易处理。模型不需要在一次前向传播中完成所有工作，这大大减轻了优化负担。
对抗训练需要判别器与生成器保持动态平衡，一旦一方过强或过弱，训练过程就容易失稳。扩散模型完全绕开了这一机制，不需要在训练过程中同时维护两个相互对抗的网络。每一步去噪都基于明确的损失函数，模型只需最小化噪声预测误差即可。即便训练不完全收敛，生成结果通常也不会像对抗训练失败时那样完全崩溃。
因为扩散模型学习的是数据分布本身的先验信息，而不是直接从随机噪声到数据的某个固定映射。在实践中，可以在反向去噪过程中引入额外的约束项，将生成过程引导到满足特定条件或观测结果的方向上。例如，在图像修复、超分辨率、医学图像重建等任务中，可以通过修改更新步骤中的梯度方向，将观测信息注入生成过程，而不需要重新训练整个网络。
这种能力来自得分函数本身的特性。得分函数描述的是样本空间中数据密度增长的方向。当我们要解决一个逆问题时，本质上是在寻找既符合数据先验、又满足观测约束的样本。扩散模型已经提供了数据先验的梯度信息，而观测约束可以通过一个额外的数据一致性项来表示，将二者结合即可在推理阶段得到满足条件的生成结果。
以下为通用伪代码，仅用于说明机制，不涉及任何具体框架或平台。
训练阶段：
for each epoch:从训练集抽取样本 x随机选取时间步 t采样标准高斯噪声 e根据加噪公式生成扰动样本 x_t = sqrt(alpha_t) * x + sqrt(1 - alpha_t) * e模型预测噪声 e_pred = model(x_t, t)计算损失 loss = mean_square_error(e, e_pred)更新模型参数
生成阶段：
从标准高斯分布采样 x_Tfor t in range(T, 0, -1):采样随机噪声 z（最后一步可省略）模型预测噪声 e_pred = model(x_t, t)计算去噪后样本 x_{t-1} = 去噪更新公式(x_t, e_pred, z, t)更新 x_t = x_{t-1}返回 x_0
在这个流程中，alpha_t是随t变化的噪声调度系数，控制每一时间步中真实信号与噪声的相对权重。神经网络在每个时间步都参与一次预测，逐步引导样本向高概率密度的数据区域移动。
生成质量稳定。 扩散模型通过多步去噪生成样本，避免了单次前向生成带来的结构模糊问题。由于每一步都只完成轻微修正，最终样本往往具有较清晰的细节与合理的全局结构。
训练过程可靠。 训练目标为有监督的噪声预测损失，不依赖对抗平衡，梯度信号稳定。这使得模型在较广泛的超参数设置下都能正常收敛。
适用场景广泛。 扩散模型不仅可用于无条件生成，还能通过扩展机制适配条件生成、图像编辑、图像补全、医学图像重建等场景。其生成过程可被外部约束引导，而不需要针对每个任务重新训练。
提供分布信息。 因为模型估计了得分函数，理论上它也隐式提供了关于数据结构的信息，可以结合其他技术用于逆问题求解。
推理速度较慢。 生成一个样本需要经过多个时间步，每一步都涉及神经网络前向计算。这与单次前向的生成对抗网络相比，计算开销更高。
调参复杂度较高。 噪声调度参数、时间步数量、更新规则中的随机项强度等都会影响生成质量。不同数据模态或不同分辨率通常需要相应调整。
理论分析与工程实现之间存在一定差距。 尽管在理论上有较完整的概率背景，但实际生成质量受限于网络表达、时间步离散化程度以及噪声调度的设计。
误区一：扩散模型只是不断去噪。 实际上，反向过程不仅是去除噪声，而是根据当前噪声水平下的数据分布梯度来移动样本。去噪只是这种梯度运动的结果表现。
误区二：扩散模型需要显式建模概率密度函数。 扩散模型并不直接输出概率密度值，而是学习得分函数，通过逐步更新样本位置来实现采样。这与显式密度模型有本质区别。
误区三：生成过程的时间步越多越好。 在合适的噪声调度下，较多时间步通常能提升生成质量，但会显著增加计算成本。实际应用中需要在质量与速度之间权衡。时间步过多还会引入更多累积误差。
误区四：扩散模型与得分匹配模型没有关系。 从机制上看，二者高度相关。得分匹配模型为扩散模型提供了理论基础，而扩散模型可以看作是在多噪声水平下学习得分函数的一种实现方式。
扩散模型之所以能够在较短时间内成为主流的生成式建模方案之一，核心原因在于它采用了一种更稳定、更可控的生成路径：将复杂的分布学习问题分解为多噪声水平下的去噪问题。通过前向加噪与反向去噪的配合，模型可以从简单分布出发，逐步逼近真实数据分布。
这种机制带来了三方面的显著收益：第一，训练过程基于明确的噪声预测损失，不需要对抗训练；第二，生成质量与训练稳定性得到较好平衡；第三，模型学习的得分函数可以天然地用于解决逆问题，而无需为每个任务重新训练模型。
当然，扩散模型也存在推理速度较慢、调参较为复杂等限制。理解其底层运行机制，有助于在实际开发中更合理地选择时间步、噪声调度与模型结构，从而在生成质量与计算效率之间取得更合适的平衡。