图像生成范式演进：从规则系统到扩散模型

一、为什么图像生成是一个“难问题”

图像生成常被误解为“让模型输出一张图”。从工程视角看，它要解决的核心问题是：在高维像素空间中拟合一个数据分布 p(x)，并从中采样出新的、合理的样本。一张 256×256 的 RGB 图像位于 196608 维空间中，而自然图像只占据这个空间中极小的低维流形。模型要做的，是学会这个流形的形状，并能在其上稳定采样。

这个定义决定了图像生成的四个基本难点：

• 维度灾难：高维空间中的概率密度难以显式建模；
• 似然不可解：真实数据分布没有解析形式，只能近似；
• 采样质量与稳定性矛盾：样本锐利的方法往往训练脆弱，训练稳定的方法往往样本模糊；
• 条件控制：如何让生成结果服从文本、类别或布局等外部约束。

围绕这些难点，历史上出现了几条技术路线。下面按“先讲机制、再讲局限”的顺序逐一拆解。

二、规则时代：机器“作画”不等于“生成”

2.1 符号主义路线的工作机制

最早可考的机器作画系统出现在 1960 年代末，其代表思路是符号主义：把画家的认知过程外化为显式规则，由程序按规则驱动绘图设备输出线条与色块。

这类系统的工作流程可以概括为：

1. 规则库：由人类专家手写构图原语，如“前景先于背景”“图形与底色分离”“重复与分割”；
2. 决策模块：根据当前画布状态选择下一条规则；
3. 执行模块：驱动绘图设备（早期为机械臂加马克笔，后期为数字喷绘）落笔；
4. 状态更新：将新绘制的图元写回画布状态，供后续规则判断。

用伪代码表示其核心循环：

canvas = empty()
while not finished(canvas):
    rule = select_rule(rule_base, canvas)
    primitive = instantiate(rule, canvas)
    canvas = draw(primitive, canvas)

2.2 为什么它“能画但不能学”

这类系统的本质是知识驱动而非数据驱动：

• 没有训练集、没有梯度、没有分布拟合；
• 输出完全可解释，翻代码就能知道为什么某个图元被画在左侧；
• “创造力”来自人类专家把认知过程编码进规则库。

它证明了一件关键的事：“机器产出视觉作品”和“模型学会图像分布”是两回事。前者可以靠规则工程实现，后者必须依赖从数据中估计概率分布的统计学习机制。这为后续所有生成模型划定了问题边界。

三、似然型路线：VAE 与自回归模型

3.1 VAE 的机制与瓶颈

变分自编码器的思路是：用一个编码器把图像映射到低维隐空间，再用一个解码器从隐变量重建图像。由于真实似然不可解，它优化的是可计算的下界（ELBO）。

其数据流为：

x → Encoder → (μ, σ) → 采样 z ~ N(μ, σ²) → Decoder → x'

关键机制在于重参数化技巧：把随机采样写成 z = μ + σ·ε，使梯度可以穿过随机节点回传。这解决了“采样不可导”的问题，但引入了一个结构性缺陷：优化目标中的 KL 项会迫使隐分布接近标准正态，导致重建项被稀释，生成样本偏模糊。

3.2 自回归模型的机制与瓶颈

自回归模型把图像按像素或按 token 展开成序列，用链式法则建模联合分布：

p(x) = ∏ p(x_i | x_<i)

它的优势是似然可精确计算、训练稳定。但瓶颈同样明显：

• 采样是串行的，生成一张图需要数千步前向，速度慢；
• 误差累积，早期 token 的错误会传播到后续所有位置；
• 对像素级建模时，局部细节建模能力强但全局结构一致性弱。

这类方法在文本生成中表现优异，但在高分辨率图像生成上效率与质量难以兼顾。

四、对抗型路线：GAN 的机制与脆弱性

4.1 核心机制

GAN 放弃了显式似然，改用对抗博弈：生成器 G 把噪声映射为图像，判别器 D 判断图像真伪，二者交替优化。

z ~ N(0, I) → G(z) → 假图
真图 x ~ p_data
D 的目标：最大化 log D(x) + log(1 - D(G(z)))
G 的目标：最小化 log(1 - D(G(z)))

其优势是样本锐利：因为判别器直接对“真实感”施加梯度，生成器不需要建模整个分布，只需骗过判别器。

4.2 为什么训练脆弱

• 模式崩溃：G 发现少数能骗过 D 的样本后反复生成，丢失多样性；
• 梯度消失：D 太强时，G 的梯度趋近于零；
• 训练不稳定：两个网络的优化目标非凸且相互耦合，容易震荡。

从原理上看，GAN 回避了似然建模，却把难度转移到了博弈均衡的求解上，而这个均衡在参数空间中极难稳定到达。

五、跨模态对齐：条件生成的关键拼图

在扩散模型接管之前，AI 画图经历了两个阶段：先会看图（识别），再试图听话画画（条件生成）。

• 识别阶段由卷积网络与视觉 Transformer 完成，模型学会了从像素中提取语义；
• 条件生成阶段卡在语言与视觉如何对齐上：文本描述“一只戴帽子的猫”与像素空间之间没有天然对应关系。

跨模态对齐模型的机制是对比学习：把图像和文本分别编码到同一嵌入空间，拉近匹配对的相似度、推远不匹配对。这样，文本嵌入就成为一个可用的条件信号，可以注入生成模型。

这一步打通了“语言→视觉”的接口，使得文生图从“按类别生成”升级为“按自由文本生成”。

六、去噪型路线：扩散模型的机制

扩散模型把采样拆成多步去噪回归：

前向：x_t = √(α_t)·x_0 + √(1-α_t)·ε
反向：从 x_T ~ N(0, I) 出发，逐步预测 ε 并去噪，直到 x_0

其关键机制包括：

• 训练稳定：每步只是一个回归任务，预测加入的噪声，目标函数简单；
• 条件可控：文本嵌入可通过交叉注意力注入 U-Net 的每一层；
• 隐空间压缩：在潜空间而非像素空间做扩散，大幅降低计算量。

6.1 潜空间扩散的模块协作

一个典型的文生图系统由以下模块协作：

模块	职责
文本编码器	把提示词编码为条件嵌入
潜空间编码器	把图像压缩到低维潜表示
去噪网络	在潜空间中迭代去噪，注入文本条件
潜空间解码器	把去噪结果还原为像素图像

工作流程为：

1. 文本编码器处理提示词，得到条件嵌入；
2. 从标准正态分布采样潜噪声；
3. 去噪网络在条件嵌入引导下，多步迭代去噪；
4. 潜空间解码器把最终潜表示还原为图像。

6.2 为什么这一范式得以定型

• 稳定性：回归目标比对抗博弈更容易优化；
• 可控性：条件注入机制天然支持文本、布局、参考图等多种控制；
• 可扩展性：潜空间压缩让高分辨率生成在算力上可行；
• 接口清晰：跨模态对齐提供条件，去噪网络负责生成，模块职责分明。

七、常见误区与技术边界

• 误区一：扩散模型“只是加噪声再减噪声”。真正起作用的是多步回归把复杂分布采样分解为一系列简单条件回归。
• 误区二：GAN 已被完全取代。在实时生成、特定域转换等场景，GAN 仍有速度优势。
• 误区三：条件生成等于文生图。条件可以是类别、布局、深度图、参考图，文本只是其中一种。
• 边界：扩散模型采样步数多、推理成本高；潜空间压缩会引入重建误差；条件对齐的精度受编码器能力限制。

八、总结

从规则系统到扩散模型，图像生成的演进本质是问题建模方式的演进：从手写规则，到显式似然，到对抗博弈，再到多步去噪回归。每一步都在回答同一个问题——如何在高维空间中稳定地拟合并采样数据分布。跨模态对齐补齐了条件控制的接口，潜空间扩散补齐了计算可行性与训练稳定性，二者结合，才使文生图在特定阶段定型为“对齐加去噪”的架构。理解这条机制链条，比记住某个模型名字更重要。