简介:本文系统解析生成模型这一核心概念,围绕"如何建模数据真实分布"这一统一目标,讲清GAN的对抗博弈、VAE的变分下界、Flow的变量变换与Diffusion的渐进去噪四条技术路径。帮助读者理解四类模型的本质联系与差异,掌握各自原理、能力边界与适用场景,为技术选型与工程落地提供清晰参考。
生成模型(Generative Models)是一类以”学习数据分布”为核心目标的机器学习模型。与判别模型只关注”给定输入、预测标签”不同,生成模型试图刻画真实数据背后的概率分布,记作 p_data(x)。一旦掌握了这个分布,模型就能从中采样,生成此前从未出现过、却与真实数据高度相似的新样本,例如新的人脸、新的对话、新的分子结构或新的图像。
从数学视角看,生成任务本质上是”分布估计”问题:给定有限的经验样本,逼近一个高维、复杂、难以直接写出的真实分布。从技术视角看,它要回答两个关键问题——如何表示这个分布(模型结构),以及如何优化逼近它(目标函数)。从使用视角看,它决定了系统能否”无中生有”地产生高质量内容,因此在内容创作、数据增强、模拟仿真等场景中被广泛采用。
真正需要理解的是:并不存在唯一的”标准答案”去求解 p_data(x)。正因为直接建模高维分布极其困难,学界发展出了多条差异明显的技术路径,也就是本文重点讨论的 GAN、VAE、Flow 与 Diffusion 四大范式。
要理解这四种模型的内在联系,先要理解它们共同面对的核心矛盾:似然的”可计算性”与生成样本的”高质量”往往难以兼得。
一方面,如果我们希望模型有严谨的概率解释,就必须能够计算或优化似然 p(x),这要求分布形式足够规整;另一方面,如果希望生成结果足够逼真、细节足够丰富,又需要模型具有极强的表达能力。 overly 规整的结构往往表达能力受限,而表达能力强的结构又常常难以给出可计算的似然。
于是不同范式选择了不同的取舍策略:有的放弃显式似然换取生成质量,有的坚持精确似然而牺牲部分灵活性,有的用近似下界折中,还有的另辟蹊径用渐进方式绕开难题。理解了这个权衡,就能把握它们看似迥异实则同源的关系。
生成对抗网络(GAN)由生成器(Generator)与判别器(Discriminator)两部分组成。生成器负责从随机噪声出发映射出伪造样本,判别器则努力区分真实样本与伪造样本。二者在训练中形成极小极大博弈(minimax game):
在这种动态对抗中,生成器不断逼近真实分布。GAN 的优势在于不显式建模似然,直接以”能否骗过判别器”为优化信号,因此生成结果往往锐利、逼真。它的代价是训练不稳定、容易出现模式崩溃(mode collapse),即生成样本多样性不足。
变分自编码器(VAE)选择了变分推断路径。它假设数据由隐变量 z 生成,通过编码器把输入映射为隐空间中的分布,再由解码器重建。由于真实后验难以求解,VAE 引入一个近似分布 q(z|x),并优化证据下界(ELBO):
ELBO = E_{q(z|x)}[log p(x|z)] - KL(q(z|x) || p(z))
其中第一项鼓励重建质量,第二项约束隐空间接近先验分布。通过最大化这个下界,模型间接优化了对数似然。VAE 的优点是训练稳定、隐空间结构清晰、便于插值与控制;随着实践发展,其”压缩与表示学习”的用途逐渐凸显。其典型短板是重建结果偏模糊,因为它优化的是期望意义下的重建而非单点锐利输出。
流模型(Normalizing Flows,传统意义上的 Flow)选择了变量变换路径。其核心思想是通过一串可逆、可微的变换,把简单分布(如高斯分布)逐步”推”成复杂的真实分布。借助变量替换公式,可以直接、精确地计算似然:
log p(x) = log p(z) + sum_i log |det(dz_i / dx_i)|
其最大优势在于能给出精确似然,理论上既可生成也可评估。但代价同样明显:为了保证可逆性和雅可比行列式可高效计算,网络结构必须受到较强约束,这限制了表达能力。这里要特别提醒:这里的传统 Flow 与当前流行的 flow matching 等扩散范式有本质不同,不可混为一谈。
扩散模型(Diffusion Model)融合了 VAE 的分层思想与 Flow 的渐进思想,但把”一步到位”的复杂生成拆解为一系列简单步骤。它包含两个过程:
模型通常以一个稳定的回归目标(如预测噪声或预测得分)进行优化。正是这种”化整为零”的策略,使得每一步都易于学习、训练过程稳定,同时最终生成质量很高。它因此成为当前主流范式之一,代价是采样需要多步迭代,推理相对较慢。
把四种模型放在一起看,就能清晰看到它们的内在联系与区别:
可以用一句话概括:它们不是互不相干的技术,而是同一个”分布建模”问题在不同约束下的四种解法。似然能否计算、生成是否逼真、训练是否稳定、结构是否受限——这几个维度上的取舍差异,决定了一条路径更适合哪类任务。
GAN、VAE、Flow 与 Diffusion 并非彼此孤立的技术,而是围绕”如何建模数据真实分布 p_data(x)”这一统一目标衍生出的四条路径。GAN 以对抗博弈追求逼真输出,VAE 以变分下界兼顾稳定与隐空间结构,Flow 以变量变换换取精确似然,Diffusion 则以渐进去噪把复杂生成拆解为稳定的回归步骤。理解它们的共同点,有助于把握生成模型的本质;理解它们的差异与取舍,则能帮助在质量、稳定性、可解释性与成本之间做出合理选型。回到定义本身:生成模型的价值,正在于让机器学会”数据的分布规律”,从而具备创造与再现真实世界的能力。