简介：扩散模型是一类通过“先加噪、再去噪”来生成数据样本的生成模型。文章从定义、直观理解、数学背景、工作流程、典型场景和常见误区等角度展开，帮助读者系统理解扩散模型为什么能稳定生成图像、音频等内容，以及它与传统生成模型的核心区别。
扩散模型是一类生成模型，其目标是学习一个数据分布，使模型能够从随机噪声出发，逐步生成与训练数据相似的新样本。与直接生成样本的模型不同，扩散模型并不试图一步输出最终结果，而是通过一个迭代过程，将噪声“还原”为结构化数据。
更准确地说，扩散模型包含两个相互对应的过程：
扩散模型的核心任务是学习反向过程。前向过程通常是人工定义的、不需要训练；反向过程则由神经网络建模，通过大量样本训练得到。训练完成后，模型可以从任意随机噪声出发，经过多次去噪迭代，生成新的图像、音频、时间序列等数据。
这个思想与物理学中的扩散现象高度相关。在物理世界中，粒子会从高浓度区域向低浓度区域扩散，最终趋于均匀分布。扩散模型借用了这一比喻：数据被逐步“扩散”成噪声，生成过程则是逆向“凝聚”出结构。
在扩散模型流行之前，常见的生成模型主要包括变分自编码器和生成对抗网络。它们各有优劣：
扩散模型的出现提供了一种新的平衡方式。它不依赖对抗训练，也不需要让判别器与生成器进行博弈，因此训练过程通常更稳定。同时，由于生成过程是逐步细化的，模型可以在多个尺度上逐步补充细节，从而使最终样本在清晰度和多样性之间取得较好折中。
此外，扩散模型具有比较清晰的概率建模基础。前向过程可以被严格定义为一个马尔可夫链，反向过程同样可以用条件概率描述。这种数学上的可解释性，使得扩散模型在理论分析、损失函数设计和模型改进方面都有比较明确的方向。
可以借助一个简单类比来理解扩散模型。
想象一张清晰的照片被反复加入轻微噪声。第一次加噪后，照片只是稍微变模糊；继续加噪，细节逐渐消失；噪声足够多时，照片看起来就像完全随机的雪花点。这个过程可以看作信息逐渐丢失的过程。
扩散模型要做的，就是学习这个过程的“逆操作”。如果模型知道在某一步加入了多少噪声，它就可以尝试从带噪图像中恢复出前一步更清晰的版本。训练时，模型会看到大量“从清晰到带噪”的样本对，从而学会估计每一步应该去除多少噪声。
生成时，模型从一个纯噪声图像开始，反复应用去噪操作。虽然每一步只做很小的改进，但经过足够多次迭代后，噪声会逐步被替换为有意义的结构，最终形成一张完整图片。
这种思路与人类绘画中的“先起大形、再补细节”有相似之处。扩散模型的早期去噪步骤倾向于确定全局结构，例如物体位置、整体轮廓、色彩分布；后期去噪步骤则倾向于细化纹理、边缘和局部特征。因此，生成过程可以被看作一个从粗到细的逐步细化过程。
一个完整的扩散模型系统通常包含以下几个组成部分：
前向过程是预定义的，不需要训练。它按照固定的噪声调度，逐步向数据中注入高斯噪声。形式上可以表示为：
[
q(xt | x{t-1}) = \mathcal{N}(xt; \sqrt{1-\beta_t} x{t-1}, \beta_t I)
]
其中，( x_0 ) 表示原始数据，( x_t ) 表示第 ( t ) 步加噪后的数据，( \beta_t ) 控制每一步加入的噪声大小。当 ( t ) 足够大时，( x_T ) 近似服从标准正态分布。
反向过程需要模型学习。它同样是一个马尔可夫链，从纯噪声 ( xT ) 开始，逐步生成 ( x{T-1}, x_{T-2}, \ldots, x_0 )。反向过程通常被建模为：
[
p\theta(x{t-1} | xt) = \mathcal{N}(x{t-1}; \mu\theta(x_t, t), \Sigma\theta(x_t, t))
]
其中 ( \mu\theta ) 和 ( \Sigma\theta ) 由神经网络参数化。由于每一步的噪声规模较小，模型只需要学习一个相对简单的条件分布。
去噪网络是扩散模型中的可学习部分。在实践中，网络通常不直接预测 ( x_{t-1} )，而是预测当前步中的噪声成分，或者预测数据分布的梯度。这种预测目标在数值上更稳定，也更容易训练。
对于图像生成任务，去噪网络通常采用卷积结构或注意力结构，以捕捉空间上的相关性。对于时间序列或音频任务，则可能采用时序建模结构。网络输入端通常包括当前带噪数据和时间步标记，以便模型感知当前所处阶段。
噪声调度决定了前向过程中每一步加入多少噪声。不同的调度策略会影响生成质量和训练效率。如果早期加噪过快，会丢失过多信息；如果加噪过慢，则需要更多步数才能达到纯噪声状态。合理的噪声调度可以在生成质量与计算开销之间取得平衡。
扩散模型的训练目标可以从最大化数据似然的角度推导出来。前向过程定义了一个从数据到噪声的路径，反向过程则定义了一个从噪声到数据的路径。通过优化反向过程与前向过程在各时间步上的一致性，可以使模型逐步逼近真实数据分布。
在实际训练中，常见的做法是：
这种训练方式具有以下特点：
生成阶段，模型从 ( x_T ) 开始，依次执行反向步骤。完整过程可能需要几十到上千步。不同方法会通过调整步长、引入加速采样或采用隐空间扩散等方式，减少推理成本。
扩散模型最初在图像生成领域受到广泛关注，但其思想并不限于图像。
扩散模型可以从文本描述生成高质量图像，用于设计辅助、广告创意、游戏美术等场景。它也可以用于局部编辑，例如替换物体、改变风格、修复缺失区域等。
在语音合成和音乐生成中，扩散模型可以逐步生成音频波形或频谱表示。这种方式比一次性生成更平滑，有利于生成连续的、具有自然节奏和音色的内容。
视频可以视为图像在时间维度上的扩展。扩散模型可以先生成关键帧，再逐步生成中间帧，或者在时间与空间上同时进行去噪，生成连贯的视频内容。
在材料科学、药物设计等领域，扩散模型可以生成符合特定约束的分子结构。生成过程能够逐步优化结构，使其在物理和化学上更合理。
由于扩散模型学习的是数据的概率分布，它也可以用于估计某些数据点出现的可能性。如果模型对某段数据的去噪效果特别差，可能意味着该数据偏离了正常分布，这为异常检测提供了一种思路。
生成对抗网络通过生成器与判别器的对抗训练来提升生成质量。扩散模型不依赖对抗训练，训练过程更稳定，但推理时需要多步迭代，计算成本通常更高。
变分自编码器通过编码器将数据映射到隐空间，再通过解码器重建数据。它通常一步生成结果，速度较快。扩散模型则通过多步去噪生成结果，质量往往更高，但速度更慢。
自回归模型按顺序逐元素生成数据，例如逐像素或逐词预测。扩散模型则在整个数据规模上并行迭代，不需要严格按顺序生成。两者可以结合使用，例如在隐空间中使用自回归结构，在像素空间中使用扩散过程。
扩散模型与基于分数的生成模型联系紧密。分数可以理解为数据分布对数密度的梯度，它指向数据密度增加最快的方向。去噪过程可以看作沿着分数方向移动，从而逐步靠近高密度区域。许多现代扩散模型将去噪目标与分数估计统一起来。
扩散模型通常需要较长的采样链，推理时间明显高于单步生成模型。在实际应用中，需要根据业务延迟要求选择是否使用加速采样方法，或者将扩散模型部署在合适的计算环境中。
扩散模型学习的是训练数据的分布特征。如果训练数据存在偏差、噪声或版权问题，生成结果也可能继承这些问题。训练前需要对数据进行清洗和合规审查。
虽然扩散模型可以生成高质量样本，但让生成结果精确满足特定约束仍然具有挑战性。通常需要引入额外条件，例如文本编码、类别标签、控制信号等，来增强模型的可控性。
生成模型可能被用于伪造内容。在公开服务或业务系统中使用时，需要结合内容审核、来源标识、访问控制等机制，降低不当使用风险。
扩散模型的生成质量通常通过人类评估、分布相似度指标以及下游任务表现来综合判断。单一指标难以全面反映生成效果，建议结合多种评估手段。
扩散模型是一类通过“前向加噪、反向去噪”来学习数据分布并生成新样本的生成模型。它的核心优势在于训练稳定、概率建模清晰、生成质量较高，已经成为图像生成、音频合成等任务的重要基础方法。
理解扩散模型，可以把握三个关键点：
这种“从无序中逐步恢复有序”的思路，不仅适用于图像和音频，也正在扩展到更多需要生成复杂结构化数据的领域。