简介:本文系统解释扩散模型中“预测干净图像、预测噪声、预测速度”三类参数化目标的定义、数学等价关系与训练差异,帮助读者理解为何固定加噪调度后三者可互推,却仍会因损失权重、梯度分配和数值尺度产生不同效果,并给出选型与使用注意事项。
在扩散模型训练中,“网络到底应该预测干净图像还是噪声”是一个常见但容易被简化的问题。更准确地说,它属于扩散模型预测目标参数化问题:在给定前向加噪调度、网络输入和时间步条件的前提下,选择一个可训练的回归目标,使网络输出与某个变量建立对应关系,并据此构造损失函数。这个变量可以是干净样本 (x_0),可以是加噪过程中注入的噪声 (\varepsilon),也可以是二者组合得到的“速度” (v)。因此,“预测图像”与“预测噪声”并不是两种互斥的模型体系,而是同一前向扩散过程下不同参数化方式的选择。
理解这一概念很重要,因为扩散模型的训练效果不只取决于网络结构,还取决于网络在不同噪声水平上学什么、损失如何加权、梯度如何分配。固定前向加噪调度后,三种目标在代数上可以相互换算,但这不意味着采用相同均方误差损失后训练效果完全一致。参数化会改变误差尺度、数值稳定性和网络在不同噪声区间的优化侧重,进而影响生成质量、采样稳定性和加速蒸馏等后续流程。
扩散模型的前向过程通常可写为:
[
x_t = \alpha_t x_0 + \sigma_t \varepsilon
]
其中 (x_0) 是干净样本,(\varepsilon) 是标准噪声,(\alpha_t) 与 (\sigma_t) 是由加噪调度决定的时间步系数,(x_t) 是带噪输入。网络在训练时接收 (x_t) 和时间步 (t),输出一个预测量。预测目标参数化就是决定这个预测量对应 (x_0)、(\varepsilon) 还是 (v),并定义相应的回归损失。
常见三类基础目标包括:
从使用视角看,参数化是训练接口;从数学视角看,它是同一变量集合中的坐标变换;从优化视角看,它决定损失权重和梯度尺度。因此,讨论“该预测图像还是噪声”时,不能只看公式是否等价,还要看训练目标如何影响不同信噪比区间的学习。
扩散模型需要在多个噪声水平上训练。低噪声阶段,带噪样本与干净样本接近,任务更接近细节修复;高噪声阶段,样本结构被严重破坏,任务更接近整体结构生成。不同预测目标对这两个阶段的关注点不同。
如果直接预测干净样本,网络在高噪声阶段需要从几乎纯噪声中恢复整体结构,学习信号明确;但在低噪声阶段,输入已接近干净样本,网络容易接近恒等映射,细节学习可能不够突出。如果预测噪声,网络在低噪声阶段更关注残余噪声和细节差异;但将噪声误差换算为干净样本误差时,高噪声区间的误差尺度可能被放大,具体程度取决于调度系数和损失归一化。速度预测则在二者之间取得一种连续表示:低噪声时更接近噪声预测,高噪声时更接近干净样本预测的相反方向,在零终端信噪比等设定下具有数值上的优势。
三种目标之所以并存,是因为它们服务于不同训练稳定性、采样器和加速需求。参数化不是“哪个绝对更好”,而是“在当前调度、网络容量、损失权重和采样流程下,哪个更合适”。
在方差保持设定下,(\alpha_t^2+\sigma_t^2=1),加噪过程可表示为单位圆上的旋转:
[
x_t=\cos\theta\,x_0+\sin\theta\,\varepsilon
]
对旋转角度求导,可得:
[
\frac{dx_t}{d\theta}=-\sin\theta\,x_0+\cos\theta\,\varepsilon
]
这正是速度目标 (v=\alpha_t\varepsilon-\sigma_t x_0) 的形式。因此,速度预测可理解为旋转表示下的切向速度。
已知带噪输入 (x_t) 与调度系数时,三者可以代数互推:
[
\varepsilon=\frac{x_t-\alpha_t x_0}{\sigma_t}
]
[
x_0=\alpha_t x_t-\sigma_t v
]
[
\varepsilon=\sigma_t x_t+\alpha_t v
]
这说明只要前向调度固定,(x_0)、(\varepsilon)、(v) 携带的是同一组信息的不同坐标表达。网络预测其中一个量后,可以通过换算得到另外两个量。但要注意:数学上可换算,不等于训练上等价。因为损失函数是在预测目标空间里计算的,误差经过换算后会被不同权重缩放,梯度也会被重新分配。
将三种目标统一换算到干净样本重构误差,可以观察权重差异。直观上,干净样本预测的权重为 1;噪声预测换算到 (x_0) 误差时带有与信噪比相关的权重;速度预测对应权重可理解为信噪比加 1 的形式。这里的核心不是记一个固定数字,而是理解:不同时间步的误差被赋予了不同尺度。
设信噪比为:
[
\mathrm{SNR}_t=\frac{\alpha_t^2}{\sigma_t^2}
]
在高噪声阶段,(\sigma_t) 较大、信噪比较低;在低噪声阶段,信噪比较高。不同参数化会让网络在高低噪声区间承担不同的优化压力。若某些时间步权重过大,可能主导梯度;若过小,则可能训练不足。最小信噪比加权策略通过截断或限制信噪比权重,缓解不同时间步之间的梯度冲突,使网络在多个噪声区间更均衡地学习。它并不是改变前向过程,而是改变损失加权,从而改变优化侧重。
示意性训练伪代码如下:
for x0, t in batch:eps = sample_normal()xt = alpha[t] * x0 + sigma[t] * epsif target == "x0":pred = model(xt, t)loss = weight_x0(t) * mse(pred, x0)elif target == "eps":pred = model(xt, t)loss = weight_eps(t) * mse(pred, eps)elif target == "v":v = alpha[t] * eps - sigma[t] * x0pred = model(xt, t)loss = weight_v(t) * mse(pred, v)
这段伪代码体现了关键点:网络结构可以相同,前向加噪也可以相同,但目标变量和权重不同,最终梯度分布就不同。
干净样本预测直接学习干净图像,适合希望显式约束重构结果的场景。高噪声阶段,它更关注整体结构;低噪声阶段,由于输入已接近目标,网络容易接近恒等映射,需要配合合适权重避免细节学习不足。
噪声预测更强调低噪声区间的细节差异,常用于常规扩散训练。它将任务转化为“从带噪样本中分离噪声”,在低噪声阶段有较好的学习信号。但换算到干净样本误差后,高噪声阶段的误差尺度可能被放大,因此需要关注调度系数、损失归一化和时间步采样策略。
速度预测在低噪声时接近预测噪声,在高噪声时接近预测干净样本的相反数,形成连续过渡。它在零终端信噪比等设定下具有数值优势,适合对训练稳定性和加速蒸馏有要求的流程。但它并非无条件优于其他目标,仍需结合网络输出尺度、采样器和损失权重评估。
预测目标参数化不等于损失函数。参数化决定网络输出代表什么,损失函数决定如何度量误差,权重策略决定不同时间步的重要程度。它也不等于采样器:采样器使用训练好的模型进行反向过程,而参数化影响的是训练阶段学到的条件分布表达。另一个容易混淆的点是“预测图像”和“预测噪声”并非模型能力差异,而是同一信息的不同坐标表达;真正差异来自误差尺度和优化侧重。
在实际选型时,应关注:高噪声和低噪声区间的损失是否均衡;输出是否需要裁剪或归一化;不同参数化下的数值范围是否稳定;时间步采样是否覆盖关键区间;评估指标是否与训练目标匹配;若用于蒸馏或低步数采样,速度参数化是否更利于保持数值稳定。对于团队协作,建议在配置中显式记录目标类型、权重策略和调度参数,避免把“数学等价”误当成“训练等价”。
扩散模型的预测目标参数化,是在固定前向加噪调度下选择网络回归 (x_0)、(\varepsilon) 或 (v) 的接口设计。三者可以代数互推,但采用相同均方误差损失时,损失权重、梯度分配和数值尺度并不相同。干净样本预测强调重构与结构,噪声预测强调低噪声细节,速度预测提供连续过渡并在特定设定下具有数值优势。理解这一概念的关键,不是简单回答“预测图像还是噪声”,而是从定义、等价性、权重分配和适用边界出发,选择与调度、网络和采样流程匹配的参数化方案。