简介:本文系统解析当前主流视频生成模型的核心骨架——扩散变换器(DiT)的底层运行原理。你将理解扩散模型"从噪声到画面"的生成机制如何与Transformer的序列建模能力结合,掌握文本条件注入、时空注意力建模、去噪迭代等关键流程,以及模块协作逻辑、技术边界与常见误区,从而建立对视频生成"为什么能实现、内部如何运行"的完整认知。
当前主流的视频生成模型,其骨架几乎都是扩散变换器(Diffusion Transformer,简称DiT)。所谓DiT,并不是一项孤立的技术,而是两类成熟思想的深度组合:一类是扩散模型所依赖的”从随机噪声逐步还原出画面”的生成机制;另一类是Transformer架构所擅长的序列与长程依赖建模能力。
本文要回答的核心问题不是”DiT能生成什么”,而是三个”为什么”:为什么视频生成会走向扩散范式、为什么扩散过程要引入Transformer、以及从一句文本提示到一段连续视频,系统内部究竟经历了怎样的状态变化与模块协作。理解这些底层逻辑,才能解释它在一致性、可控性上的表现来源,也才能看清它的能力边界。
要理解DiT的设计动机,先要理解它要解决什么难题。
早期的图像生成常依赖生成对抗网络(GAN)或自回归建模。前者通过生成器与判别器的对抗训练逼近真实分布,但训练不稳定、容易出现模式崩塌;后者逐个像素或逐个区块预测,推理速度慢且难以保证全局一致性。视频比图像更难,原因有三:
扩散范式恰好提供了一条更稳定的路径:它不追求一次性生成整段视频,而是把生成拆解为”逐步去噪”的迭代过程,天然适合处理高维、复杂分布,这为DiT成为主流骨架奠定了基础。
扩散模型包含两个方向:
生成时,模型从随机噪声出发,反复执行反向去噪,直到得到结果。这是”为什么能生成”的根本:模型的训练目标不是直接画画面,而是学会预测每一步该去掉多少噪声。
直接在像素空间做扩散代价极高。主流做法引入一个编码器,先把图像或视频帧压缩到低维潜空间,在潜空间中完成扩散计算,最后再由解码器还原回像素。潜空间的作用是以可控的信息损失换取显著的计算效率,这也是视频扩散能够扩展到较长时长的关键。
Transformer处理的是序列。DiT会将潜空间特征切分为若干小块(patch),每个块展平并线性映射为一个向量(token)。这样一张特征图就变成了一串token序列,可以像处理文本一样被Transformer建模。Patch化的意义在于把二维(或三维)空间问题转化为一维序列建模问题。
自注意力让序列中每个token都能与其他所有token计算关联权重,从而捕捉长程依赖。相较于只能处理局部感受野的卷积结构,自注意力在建模全局结构与远距离关联上更具优势。这正是扩散骨架从卷积网络走向Transformer的核心动因。
从工程视角看,一个视频生成系统大致可分为以下模块(通用结构,不针对任何具体产品):
| 层级 | 组成 | 主要职责 |
|---|---|---|
| 条件编码层 | 文本编码器 | 将自然语言提示编码为语义向量序列 |
| 视觉编码/解码层 | 编码器/解码器 | 在潜空间与像素空间之间转换 |
| 去噪主干 | DiT主干网络 | 以token序列为输入,预测每步噪声 |
| 时序建模模块 | 时空注意力 | 维护帧间一致性,建模运动连贯性 |
| 采样调度器 | 去噪采样器 | 控制去噪迭代步数与轨迹 |
| 引导机制 | 条件引导 | 让生成结果向文本语义靠拢 |
| 工程支撑层 | 存储、调度、监控 | 任务编排、算力调度与可观测性 |
需要强调的是,这里描述的是行业通用的分层思路。在实际部署中,存储层、任务调度层、监控告警层等通常依托于通用云基础设施(如对象存储、容器平台、日志与监控服务),以支撑大规模推理任务的弹性伸缩与稳定运行。
下面按状态变化顺序,描述一次生成的核心链路:
第一步:文本条件编码。 用户输入提示词,经文本编码器转换为条件向量序列。这些向量携带语义信息,是后续引导生成的依据。
第二步:初始潜变量构建。 在目标分辨率与时长下,构建一段随机噪声作为潜空间起点,并完成Patch化,得到初始token序列。
第三步:迭代去噪。 进入采样循环。每一步中:
第四步:解码还原。 迭代完成后,潜空间结果经解码器还原为像素空间的视频帧序列。
第五步:后处理与输出。 进行帧率对齐、色彩与画质处理等,产出最终视频。
伪代码形式(通用示意,非任何专有实现):
def generate(prompt, resolution, frames, steps):cond = text_encoder(prompt) # 文本条件编码z = sample_noise(resolution, frames) # 初始潜噪声for t in reversed(range(steps)):tokens = patchify(z) # 切分为token序列noise_pred = DiT(tokens, t, cond)# 预测当前噪声z = scheduler.step(z, noise_pred, t)video = decoder.decode(z) # 解码为像素视频return postprocess(video)
视频生成最难的是帧间连贯。DiT通过组合空间注意力(单帧内的空间关系)与时间注意力(同一位置跨帧的变化关系)来同时约束空间结构与时序运动。为什么这样设计有效?因为空间注意力保证每一帧本身合理,时间注意力则约束”这一帧相对上一帧该怎么变”,两者共同抑制闪烁与跳变。使用时需注意:计算量随分辨率和帧数增长而放大,因此实际中常借助分块、稀疏注意力等手段平衡质量与开销。
文本要真正影响画面,不能只是拼接,而要让语义”参与”每一步去噪的计算。常见做法是交叉注意力,即token在生成时查询文本条件向量。更强的引导通常采用无分类器引导:同时计算”有条件”和”无条件”两种预测,再按引导系数做外推放大,使结果更贴合提示。注意点:引导系数过大易导致画面过饱和、失真,需在贴合度与画质间权衡。
去噪不是一步到位,采样器决定”走几步、每步走多远”。步数越多通常质量越稳,但推理越慢。为什么需要调度器:它决定了在给定步数下的最优更新轨迹,是平衡生成质量与推理成本的关键旋钮。
单次生成可能涉及数十次去噪前向,叠加高维张量,算力需求大。工程上依赖弹性算力调度、任务队列、结果缓存与监控告警等通用机制,来应对并发压力、控制超时并保障稳定性。
优势来源:稳定性来自扩散范式的迭代特性;可控性来自条件注入与引导机制;长程一致性来自时空注意力;可扩展性来自潜空间降维。
边界与限制:
视频生成模型走向DiT,本质是用扩散范式解决”高维复杂分布的稳定生成”,再用Transformer的自注意力解决”全局与时序一致性建模”,并借助潜空间与调度机制控制计算成本。理解其原理,关键在于把握四条主线:扩散的加噪—去噪机制解释了”为什么能生成”,时空注意力解释了”为什么能连贯”,条件注入与引导解释了”为什么可控”,工程分层与调度支撑解释了”为什么能规模化落地”。掌握这些底层逻辑,才能在实际使用中准确判断其能力边界、合理设置参数,并对其生成结果形成稳定预期。