简介:本文系统讲解扩散模型的核心原理与运行机制,从前向加噪、反向去噪两大过程切入,拆解分数估计、变分推断、潜在空间扩散等关键机制,帮助读者理解“为什么模型能从纯噪声中重建数据”,并梳理其在图像、视频、文本等多模态生成中的应用路径与技术边界。
扩散模型(Diffusion Model)是一类基于深度学习的生成式模型,其核心思想借鉴自非平衡热力学中的扩散过程:物质会自发地从高浓度区域向低浓度区域扩散,直至分布趋于均匀。类比到数据上,模型把”生成一张图”这个难题,转化为一个”先学会把图毁成噪声,再学会把噪声一步步还原成图”的学习问题。
本文要解决的核心问题是:为什么一个神经网络通过反复去噪,就能学会数据的分布,并从纯随机噪声中生成逼真的新样本?背后的关键机制包括前向加噪过程、反向去噪过程、噪声预测目标、分数匹配与随机微分方程的统一视角等。
早期的生成模型各有短板:
扩散模型的思路是把复杂的生成问题拆解成成百上千个简单的回归问题:每一步只要求网络预测”当前这一步加了多少噪声”。单个任务足够简单,可以用标准的均方误差训练,规避了对抗训练的不稳定性;而当无数个小步骤串联起来,就实现了对数据分布的精细建模。
前向过程(Forward Process):定义一条从真实数据逐步走向纯高斯噪声的马尔可夫链。每一步向样本注入少量噪声,经过 T 步后,原始信息几乎完全被淹没,数据分布收敛为标准正态分布。这个过程不需要学习,是人为设定的。
反向过程(Reverse Process):用神经网络参数化从噪声回到数据的逆过程。理想情况下每一步的条件分布是高斯分布,网络的任务是预测每一步的均值和方差(实践中常简化为只预测噪声)。
噪声预测目标:训练样本的构造非常优雅——取一张真实图,按已知的前向公式加噪得到某一步的”带噪图”,让网络预测被加入的噪声本身。损失函数是预测噪声与真实噪声之间的均方误差。由于前向加噪有闭式解(可以一步跳到任意时间步),采样训练非常高效。
分数(Score):指对数据分布对数密度的梯度。噪声条件分数网络证明了”预测噪声”与”估计分数”本质等价,这为扩散模型提供了另一种理论解释路径。
随机微分方程(SDE)与常微分方程(ODE)视角:当加噪步数趋于无穷,离散的马可夫链可以表示为连续的 SDE;相应地,生成过程也有对应的反向 SDE 或概率流 ODE。这一统一框架说明,基于分数的模型与基于扩散的模型是同一数学对象的不同离散化。
扩散生成系统可以拆解为四个关键模块:
| 模块 | 职责 |
|---|---|
| 时间步嵌入模块 | 告诉网络当前处于加噪进程的哪一步,使网络能区分”轻度带噪”与”接近纯噪声”的状态 |
| 噪声预测网络 | 主干网络,输入带噪样本与时间步,输出预测的噪声或速度场 |
| 采样器 | 执行反向去噪迭代,决定从噪声到样本的轨迹与步数 |
| 条件注入机制 | 将文本、类别等引导信息编码进去噪过程,控制生成内容 |
训练流程:
生成流程(采样):
1. 为什么”预测噪声”可行
前向加噪把任意复杂的数据分布逐步”抹平”为标准高斯分布,而每一个中间状态的条件分布都可解析求出。因此反向去噪的每一步都可以看作一个简单的去噪自编码任务,监督信号来自前向过程的解析结果,无需人工标注,训练目标稳定、可微,这是扩散模型优于对抗训练的根本原因。
2. 为什么需要多步迭代而非一步到位
一步生成要求网络直接建模高维空间中极端复杂的分布映射,难以训练;多步迭代则把映射分解为一系列局部、平滑的变换,每步只需修正少量噪声,网络拟合难度大幅降低,代价是采样需要多轮前向计算,速度较慢。
3. 潜在空间扩散
为缓解计算开销,一类重要思路是先用编码器把数据压缩到低维潜在空间,在潜在空间执行扩散与去噪,再用解码器还原。由于潜在空间维度远小于原始像素空间,训练和采样的计算量显著下降,使得高分辨率生成在有限算力下成为可行,这也是当前主流开源文生图模型普遍采用的技术路线。
4. 采样加速机制
针对多步采样慢的痛点,业界发展出多条优化路径:使用更少的离散步配合更高阶的数值求解器;蒸馏技术把多步教师模型的知识压缩到少量甚至一步的学生模型;确定性 ODE 采样相比随机 SDE 采样通常可以用更大步长保持质量。
优势:训练目标稳定,不依赖对抗博弈;生成样本质量高、多样性好,能覆盖训练分布的多个模式;理论框架统一,便于分析和改进。
限制:原生采样步数多、延迟高;多步迭代使其对实时交互场景不够友好;模型体量与时间步采样策略对显存和算力要求较高;条件生成的对齐能力依赖额外的引导或后训练机制。
扩散模型的本质,是用一系列可解析、可学习的局部去噪变换,把”从噪声生成数据”这一全局难题分解为可稳定优化的回归问题。前向过程提供监督信号,反向过程完成生成,分数匹配与随机微分方程为其提供了统一的数学基础,潜在空间扩散与采样加速则解决了走向实用的效率瓶颈。理解”加噪—预测—去噪—重建”这一主线,就掌握了扩散模型从理论到工程落地的核心逻辑。