简介:本文从原理层面系统拆解扩散模型的加速机制。内容涵盖采样求解器、无分类器引导蒸馏、渐进式蒸馏与一致性模型、分布匹配蒸馏、轨迹拉直与流匹配,以及特征缓存、量化、稀疏化等工程优化,并说明各类方法的适用场景与技术边界。帮助读者建立"为什么慢、为什么能快、代价在哪里"的完整认知。
扩散模型(Diffusion Model)在图像、视频生成中已经非常成熟。训练侧有清晰的概率建模目标,生成质量在不少任务上超过早期的对抗生成网络。但它在推理侧的突出问题是”慢”:在常见的多步采样配置下,单次生成需要反复调用去噪网络数十到上百次。对视频这类连续帧任务,总成本还要再乘以帧数。
本文讨论的”扩散加速方法”,本质上是围绕一个问题展开的:如何在不明显损失生成质量的前提下,把生成一张图、一段视频所需的模型前向计算次数降下来。
需要明确的是,”加速”至少可以发生在三个互不相同的层面:
| 加速层面 | 是否修改模型权重 | 核心手段 | 典型收益来源 |
|---|---|---|---|
| 采样器与求解器 | 否 | 高阶数值求解、概率流ODE、时间步重参数化 | 用更少的步数逼近同一ODE的解 |
| 生成目标与引导 | 部分是 | 引导蒸馏、轨迹拉直、少步蒸馏 | 改变”要拟合的目标函数” |
| 系统执行效率 | 否 | 特征缓存、量化、稀疏化、图优化、并行 | 降低单次前向的绝对耗时 |
这三层经常被混为一谈。实际系统里的加速效果,往往是三层叠加的结果,而理解每一层各自改变了什么,是判断”某套加速方案能不能用、代价是什么”的前提。
如果不做任何优化,扩散模型的推理成本可以近似写成:
推理成本 ≈ NFE × T_forward(分辨率, 模型结构, 硬件) + T_其他NFE = 采样步数 × 每步网络前向次数
其中无分类器引导(CFG)开启时,每步需要做条件与无条件两次前向,NFE 直接翻倍。分辨率决定序列长度,而注意力计算随序列长度呈平方增长。这意味着成本是乘性叠加的:采样器把步数从 50 降到 4,而解码阶段、文本编码阶段的开销并没有被优化。
一个常被忽视的工程事实是:步数降到很低之后,瓶颈会迅速转移到去噪主干之外的环节。若只优化采样步数而不看端到端耗时,优化收益会被稀释。
标准训练目标是去噪分数匹配:给定干净样本与噪声水平,让网络预测被加入的噪声(或等价的干净样本估计、速度场)。推理阶段则把这个网络嵌入一个逆向过程:
无论哪种视角,都需要从 t=T(近似纯噪声)逐步推进到 t≈0。步数多,根源在于:在连续时间的极限下,这个过程需要无穷小的时间步才能精确求解;而有限步离散化必然带来截断误差,且误差沿轨迹累积。
所以”少步生成”在理论上不是天然的,而是有条件的:轨迹足够平滑、积分器阶数足够高、或者干脆重新定义被拟合的函数。
理解加速方法的可行性,需要抓住扩散过程的三条性质:
第一,去噪网络的输入总是”含噪样本 + 时间条件”。 网络学到的不是全局映射,而是一族在不同噪声尺度下局部成立的去噪算子。时间条件(噪声水平)决定了任务难度:高噪声时网络主要在做”粗略定形”,低噪声时主要在做”细节填充”。
第二,逆向过程的确定性部分在低速阶段有解析结构。 以常用的”网络预测干净样本”参数化为例,概率流ODE可以写成
dx/dt = f(t)·x + g(t)·ε_θ(x, t)
这是一个半线性方程:线性部分可以精确积分,非线性部分只来自网络输出。这一结构直接催生了大量高阶求解器——线性部分被解析处理,非线性部分才需要近似。
第三,采样误差在不同时间区间的作用并不对称。 早期高噪声阶段决定全局布局、语义与色调,误差容忍度低;后期低噪声阶段主要影响纹理与锐度,且网络输入的输出差距本身很小。这条性质支撑了”非均匀分配计算预算”的整套思路:自适应步长、稀疏跳步、少步蒸馏都建立在此之上。
在展开具体机制之前,先统一几个高频出现的概念,后面所有方法都可以挂到这套坐标上。
速度场与概率流。 扩散模型的连续极限是一个ODE或SDE。在ODE视角下,求解的对象是一个速度场 v(x, t),它给出”在某个含噪样本、某个时间点上,应该往哪个方向移动”。网络是这个速度场的近似器,采样则是把这个速度场沿轨迹积分。流匹配(Flow Matching)把这个视角显式化:直接以回归一个预先定义的条件速度场为训练目标。
预测目标的等价性与数值差异。 噪声预测(ε-prediction)、干净样本预测(x0-prediction)、速度预测(v-prediction)在同一训练目标下数学等价,可以互相转换。但代入数值求解器后,表现并不等价:x0-prediction 在低噪声区间数值更稳定,v-prediction 在极端高噪声与低噪声下都不易爆炸。实践中选择哪一种参数化,往往比选择哪个求解器更能影响画质。
NFE 与步数的区别。 NFE(Number of Function Evaluations)统计网络前向次数,步数统计积分迭代次数。CFG 开启时 1 步 = 2 次前向;某些高阶求解器一步需要 2~3 次前向;模型蒸馏方法则把两者都压下去。评估加速方案时应统一用 NFE 或端到端延迟,而不是笼统说”步数少了”。
教师—学生与蒸馏。 蒸馏的基本结构:用多步教师模型的采样分布作为监督信号,训练一个少步学生网络去逼近它。学生不再逐步积分,而是一次(或少数几次)前向直接输出近似结果。它的本质是把”迭代求解”这个算法,压进网络的参数里。
ε-近似与分布近似。 有的蒸馏方法让学生匹配教师的”输出样本”(轨迹近似),有的让学生匹配教师的”输出分布”(分布匹配)。后者在同样步数下往往质量更好,但训练更复杂、更不稳定。这是当前少步生成技术路线的主要分歧点之一。
从工程实现角度看,一次扩散生成通常包含下列模块。理解它们的分工,才能定位加速的着力点。
① 条件编码器(文本/图像/结构条件)。 把提示词或参考图映射到嵌入空间。它是纯编码过程,通常只做一次,可被缓存复用;但在多轮编辑、批量采样时占比会上升。
② 潜空间映射模块。 多数高分辨率生成并不在像素空间扩散,而是先用一个自编码器把图像压到较低维的潜空间,扩散在其中进行,最后再解码回像素。这一步把扩散的序列长度显著缩短,是成本结构上的关键设计。
③ 去噪主干。 承担绝大部分计算,通常是U-Net结构或基于Transformer的结构。它是采样器的”被积函数”,也是绝大多数加速手段的作用对象。
④ 调度器/求解器。 决定时间步序列、每一步用几阶方法、噪声注入与去噪的比例。它不含可学习参数,是采样器侧的加速主体。
⑤ 引导模块。 把条件嵌入按引导强度注入主干(CFG 及其各种变体)。它带来质量收益,同时带来接近一倍的前向开销。
⑥ 输出与后处理。 潜空间解码、超分、插值与视频拼接等。在极低步数方案中,它的相对占比会明显上升。
加速方法在这套结构上的作用位置可以概括为:调度器改”怎么积分”,蒸馏改”主干要输出什么”,工程优化改”每次前向多快”。
这一路线的典型代表包括二阶/三阶指数积分器、多步法、指数积分与多项式外推结合的方案。它们的共同思路是:既然半线性结构中的线性部分可解析求解,只需对”网络输出”这一项做高阶近似,就能在很少的步数下把截断误差压到可接受水平。
关键在于误差阶:一阶欧拉法每步误差是 O(h²),全局 O(h);二阶方法全局误差降到 O(h²);三阶可到 O(h³)。在需要 20~50 步才能达到同等质量的场景中,阶数的提升几乎是”免费”的收益,因为它不触碰任何权重。
把概率流ODE写成半线性形式后,解可以表达为一个卷积型积分:线性部分的指数衰减是精确已知的,剩下的积分项里含网络输出。高阶方法的做法是:用当前及历史几步的网络输出做多项式拟合,再把这个拟合代入积分并解析积出。这样每一步的截断误差从 O(h²) 提升到 O(h³) 甚至更高。
直觉上可以这样理解:欧拉法假设”在这段小时间内速度不变”,而二阶方法允许速度线性变化,三阶允许二次变化。对扩散轨迹这种曲率较大的曲线,允许速度变化的直接结果就是同样的终点误差下所需步数大幅下降。
多步法(利用前面几步的历史信息)在单步成本高时更划算,因为每步只需一次前向;但它对步长变化和轨迹突变较敏感,需要重启策略。单步法(如某些龙格-库塔式格式)每步两次以上前向,但更稳定、更容易自适应。
高阶求解器解决了”每步多准”,时间步分配解决”步放在哪里”。常用的做法有两种:
无分类器引导(CFG)的思路是:在没有条件的情况下也训练一个无条件预测分支(通过条件随机丢弃),推理时用两者外推:
ε_guided = ε_uncond + w · (ε_cond − ε_uncond)
其中 w 是引导强度。它的作用是放大”条件带来的差异方向”,把样本推向条件分布的高密度区域,从而显著提升提示词遵循度与画面质量。
代价很直接:每步两次前向,等于把 NFE 翻倍。更重要的是,它是一个与步数无关的固定开销——无论用 50 步还是 5 步,都要付这两倍。
同时它还有副作用:引导强度过大时,画面会出现过饱和、对比度异常、纹理过度锐化的现象。所以”少步 + 强引导”往往比”多步 + 强引导”更容易崩坏,因为在少数几步里做大幅外推,误差没有被后续步骤平滑掉。
引导蒸馏的做法是把外推过程本身作为监督目标:在训练学生时,教师输出的不是原始的 ε_cond,而是外推后的 ε_guided。学生于是学习”一次前向直接产生引导后的效果”。上线后只需单路前向。
它成立的原因在于:引导只是对速度场做了一次仿射变换,这个变换是可以用网络拟合的。相当于把”推理时做两次前向再做加法”编译成了”训练时就把加法练进权重”。
需要注意,这类方法通常还要配合一个辅助的损失来抑制”漂移”:让学生输出仍然贴近教师的条件输出分布,避免只学引导方向而丢失原始分布的信息。
如果概率流ODE的轨迹是一条直线,那么一阶欧拉法一步即可精确抵达终点。反过来,轨迹越弯,越需要更多步去逼近。这是理解整条”轨迹拉直”路线的钥匙。
轨迹之所以弯,原因之一在于配对方式:噪声与样本随机配对,使得”从某个噪声到某个样本”的位移方向在不同时间点上并不一致。轨迹拉直的核心手段就是重新配对:先在多步采样后得到一批 (噪声, 样本) 对,再用这些配对重新训练速度场,使位移方向沿轨迹保持恒定。反复迭代,轨迹逐轮变直,所需步数逐轮下降。
这一路线的优点是训练目标清晰、训练过程相对稳定,且不需要构造对抗性的辅助模型;缺点是需要多轮迭代,且拉直的是”边际轨迹”,对条件嵌入的空间不一定同时变直。
另一种更一般的思路是:把”教师走 N 步”这件事,逐步压缩成”学生走 N/2 步”。每一轮训练中,学生模拟两步,教师(学生自身的 EMA 副本)负责一步,监督信号由教师给出。多轮之后,步数从 32 降到 16、8、4、1。
它成立的前提是”半边可交换”:学生走两步的终点分布应接近教师走两步的终点分布。实现上通常在训练时加入额外的随机扰动与噪声注入,用来模拟多步采样过程中的分布偏移,从而缓解误差累积。
这条路线的问题是训练轮次多、总训练成本高,且每轮都需要构造时间步采样与数值积分,工程实现相对复杂。
一致性模型换一个角度:不做迭代压缩,而是直接约束”同一条轨迹上任意点都应映射到同一个终点”。训练时施加一个约束——网络在轨迹上的任意两个时间点输出一致;推理时只需一次前向。
它的关键设计有三点:
一致性模型的少步能力是显著的,但有几个实践要点:
离散时间的一致性约束会引入调度依赖与离散化误差。连续时间版本把网络输出重参数化为一个带符号的正切型函数,使边界条件自动满足,并把一致性条件改写为网络与其自身雅可比的乘积。这样做的效果是把”逐步监督”变成对一组随机采样的约束,天然免去了调度依赖,在大规模训练时更容易扩展。
不过这类做法也有代价:雅可比向量积需要双次反向传播,显存与算力开销上升;同时需要解决”梯度在训练早期与后期尺度差异极大”的问题,通常靠对目标做逐时间步的加权归一化来稳定。
前面几种方法的监督信号都来自教师轨迹或教师输出,属于轨迹近似。分布匹配蒸馏换了目标:不要求学生的每个输出都接近教师的某个输出,只要求学生生成的整体分布接近教师(或真实数据)分布。
数学上,它的梯度可以写成两个分数函数之差:
∇ ≈ E[ (s_fake(x) − s_real(x)) · (∂x/∂θ) ]
其中 s_real 是(教师所代表的)真实分布分数,s_fake 是学生当前生成分布的分数。这个差向量的方向,正好指向”把学生分布往教师分布推”的最陡方向。工程上通常用一个辅助网络在线拟合 s_fake(学生被训练、辅助网络跟随拟合),而 s_real 由冻结的教师提供。
轨迹匹配只能告诉学生”教师的输出长什么样”,而分布匹配直接优化”分布之间的距离”。这带来两个实际差异:
这一路线的吸引力在于:它把”少步”从一个受教师轨迹限制的近似问题,转化成一个可优化的目标函数问题,所以在极少步(一到四步)区间往往能取得更好的画面观感。代价是训练系统复杂度显著上升。
流匹配的训练目标是回归一个条件速度场:给定两端点样本与插值时间 t,让网络输出预设的位移方向。当插值路径取为直线时,条件速度场是常量,回归目标极其简单。
由此带来几个对少步采样直接有利的性质:
但它并非没有代价:线性插值得到的边际路径在两侧端点附近有非 Lipschitz 奇点(当 p0 与 p1 分布不重叠时更明显),因此实际实现往往用带噪端点或对 t 做截断,这会引入一定的偏差。此外,直线路径并不保证”最少步数的最优轨迹”,所以它常与前文的轨迹拉直思想结合使用。
把流匹配与前述方法放在一起看,会发现一个统一的图景:
| 方法族 | 改的是什么 | 主要收益 | 主要代价 |
|---|---|---|---|
| 高阶求解器 | 积分格式 | 免训练,步数降到十几步 | 步数极低时收益衰减 |
| 轨迹拉直 / 少步蒸馏 | 速度场形状 | 2~8 步可用,训练较稳 | 需多轮迭代,上限受教师限制 |
| 一致性模型 | 端到端映射 | 1~4 步,免调度依赖 | 收敛敏感,需精心设计边界条件 |
| 分布匹配蒸馏 | 目标函数 | 1~4 步,细节更好 | 训练复杂,需辅助网络,易塌模 |
| 流匹配 | 路径与训练目标 | 训练与推理一致,天然适合少步 | 端点奇点需处理 |
前面的机制都在改数学,这一节讨论不改数学、只改执行的部分。它们与算法加速是乘性叠加的,因此在生产系统里同等重要。
相邻时间步之间,去噪主干内部的中间特征往往高度相似。利用这一点可以设计缓存机制:在某些步真正计算,在另一些步直接复用缓存的特征或输出,只走轻量的解码路径。
它的收益来自两个观察:一是扩散轨迹在低噪声区间变化平缓,跳步的近似误差可控;二是缓存命中后节省的不只是主干计算,还包括注意力与归一化的中间读写。使用时需注意:
低精度(FP16/BF16/FP8 等)计算的主要收益来自两方面:一是张量核心吞吐更高,二是显存带宽压力下降。扩散模型对低精度相对宽容,因为整个过程本身就在做近似求解;但要注意:
高分辨率生成中,注意力往往是最贵的一块。稀疏化与线性化注意力的收益来自把序列长度的平方复杂度降下来。代价与注意点:
算子融合、内存复用、计算图级别的常量折叠与布局优化,不改变数值语义,是”零风险”收益。与之配套的是执行编排:批处理提高吞吐、连续批处理服务多请求、异步流水掩盖传输与计算的重叠、并行切分把大模型摊到多卡上。
这一层的经验法则是:先测量,再优化。去噪主干、条件编码、解码三段的占比随分辨率、步数、批大小剧烈变化;把优化投在占比只有 5% 的环节上,端到端收益接近于零。
把上述模块串起来,一次典型的少步生成经历如下状态变化:
| 阶段 | 输入 | 主要处理 | 输出 | 状态要点 |
|---|---|---|---|---|
| 条件编码 | 文本/参考图 | 编码为嵌入,可缓存 | 条件嵌入 | 同一请求内只做一次 |
| 初始化 | 随机种子 | 采样初始噪声(潜空间) | x_T | 决定可复现性 |
| 少步去噪 | x_T + 条件 + 时间步 | 求解器迭代,主干前向 | x_0 估计 | 特征缓存在此阶段生效 |
| 引导 | 条件/无条件输出 | 外推或已折叠进单路 | 引导后速度 | 是否翻倍取决于方案 |
| 解码 | 潜变量 | 自编码器解码 | 像素图/视频帧 | 少步时占比上升 |
| 后处理 | 像素结果 | 超分、插值、拼接 | 最终产物 | 常与主流程解耦 |
关键的状态变化在于”含噪程度”与时间步的单调递减,以及”确定性 vs 随机性”的选择:纯 ODE 采样可复现、可插值,但多样性受限;带随机项的采样多样性好,但同样的种子在不同实现下不保证一致。
少步采样主循环(通用形式)
function sample(model, condition, steps, cfg_scale, solver):x = randn_like(latent_shape) # 初始噪声ts = build_timesteps(steps, schedule) # 时间步序列for i in range(steps):t = ts[i]# 单路前向;若未做引导蒸馏则需要两路v_cond = model(x, t, condition)if need_guidance:v_uncond = model(x, t, empty_condition)v = v_uncond + cfg_scale * (v_cond - v_uncond)else:v = v_cond# 求解器决定如何使用 v:欧拉 / 高阶 / 多步外推x = solver.step(x, v, t, history)cache.update(i, features) # 可选:特征缓存return decode(x)
特征缓存的判定逻辑(通用形式)
function should_recompute(step, prev_step, curvature):if curvature[step] > threshold: # 高曲率区不跳步return trueif cache is empty or condition changed:return truereturn step - prev_step > skip_interval
两段代码共同说明了一件事:加速的可调参数不止”步数”,还包括”哪些步真正计算”。后者往往比前者更划算,因为它不改变数学轨迹,只改变执行路径。
误区一:步数越少越好。 步数是手段而非目标。评估要看端到端延迟、单位成本下的画面质量、以及对下游任务的指标影响。某些任务(文字渲染、精确编辑)在少步下退化明显,此时多步反而是更优选择。
误区二:高阶求解器可以替代蒸馏。 高阶求解器逼近的是”教师的轨迹”,蒸馏改变的是”被积的函数”。步数降到十几步以内,高阶求解器的边际收益急剧衰减,而蒸馏仍有效。两者互补,不是替代关系。
误区三:一致性模型就是”蒸馏出来的小模型”。 一致性模型可以选择从零训练,此时它并不依赖任何多步教师,理论上可以到与完整训练相当的上限。这是它与渐进式蒸馏在概念上的重要区别。
误区四:CFG 只是”提质量的开关”。 它是速度场上的仿射外推,直接改变采样分布的形态,强度过高会产生系统性伪影。少步方案里必须与引导强度联合调参。
误区五:轨迹拉直能解决一切弯曲问题。 拉直针对的是边际轨迹,条件嵌入空间中的路径不一定同步变直;且需要多轮重新配对迭代,收益逐轮递减。
误区六:分布匹配一定比轨迹匹配好。 分布匹配在极低步数下观感更好,但训练更不稳定、更依赖辅助网络的拟合质量,且更容易损失多样性。在可控性与可复现性要求高的场景,轨迹匹配类方法常常更实用。
误区七:量化能无脑叠加到少步模型上。 少步模型没有后续步骤平滑量化误差,退化更明显。低精度与量化在少步场景需要重新验证,不能沿用多步场景的参数。
误区八:优化去噪主干就够了。 少步之后,条件编码、潜空间解码、后处理的相对占比会大幅上升,端到端优化必须看完整链路。
扩散加速的本质,是围绕”用更少的网络前向,完成从噪声到数据的映射”这一目标,对三个不同对象分别施加优化:
三者是乘性关系,且各有明确的适用区间:步数从 50 降到 20 主要靠采样器;从 20 降到 4 主要靠蒸馏;从 4 降到 1 需要分布匹配或对抗式方案;而从 4 步再往下降延迟,则要转向单次前向的优化与全链路编排。
理解这些机制的实践意义在于:当遇到”换了调度器画质就崩””加了量化少步就出伪影””蒸馏后多样性变差”这类问题时,可以判断问题落在哪一层,从而选择对应的缓解手段,而不是笼统地”再多试几个参数”。在云端承载这类生成服务时,算力成本、弹性伸缩与推理吞吐同样需要一并纳入考量——算法层面的加速与平台层面的资源调度,最终共同决定单次生成的实际成本。