简介:本文以主流视频生成模型共用的骨架——扩散变换器(DiT)为线索,拆解"让模型听懂人类描述并生成视频"的完整实践路径:从潜空间压缩、时空Patch化、Transformer去噪主干与条件注入,到训练循环、采样加速、结果验证与问题排查,帮助读者构建可运行的文生视频流程并避开常见陷阱。
教程开头,有一句话流传很广:”Attention is all you need.”在视频生成领域,这句话如今有了新含义:模型需要的不仅是注意力,还需要学会”从噪声里把画面找出来”。
当前主流的视频生成模型,骨架基本都是扩散变换器(Diffusion Transformer,简称 DiT)。它把扩散模型”从噪声到图像”的生成机制与 Transformer 强大的建模能力结合起来,目前几乎所有先进的视频生成系统都采用了这一架构。
所谓”修行之路”,本质上是一套技术演进过程:
本教程以这条主线为线索,帮助读者完成以下目标:
阅读完成后,你应当能够回答三个问题:
扩散模型的训练与推理是一组相反的过程:
模型学到的从来不是”画出一只猫”,而是”把画面中不像猫的部分修正掉”。因此可以把扩散生成类比为雕塑:先有一块粗糙的石头(噪声),再用成百上千次精细凿刻(去噪)让作品逐渐成形。模型遵循人类心意的过程,就发生在每一凿的”条件”之中。
在视频生成走向成熟之前,以卷积网络为骨架的生成方案已广泛用于图像和短视频生成,常见做法是 U 型结构:
Transformer 恰好补上了这些短板:
这种可扩展性至关重要。视频数据的信息量远高于静态图像,只有当”堆算力”能稳定转化为”出好片”时,投入才有意义。
DiT 的运行可概括为”编码—切块—去噪—解码”四个环节:
文本提示词 ──> 文本编码器 ──> 文本条件 token纯随机噪声(视频潜变量)│▼┌───────────────────────────────────────────────┐│ 时空 Patch 化 + 线性嵌入 → token 序列 ││ │ ││ ▼ ││ Transformer 主干 × N 层 ││ · 自注意力:建模 token 间的时空关系 ││ · 交叉注意力:读取文本条件 ││ · 自适应归一化(adaLN):注入时间步与全局条件 ││ │ ││ ▼ ││ 线性还原 → 与输入同形状的预测结果(噪声/速度场) │└───────────────────────────────────────────────┘│ 迭代去噪 T 次▼视频潜变量 ──> 视频 VAE 解码 ──> 视频帧序列
理解这张图,就理解了后续所有步骤的落点。下面按实施顺序逐一展开。
适用读者
前置知识
前置条件
整体流程如下,后续步骤均依赖前一步的产出:
确定生成规格 → 数据准备 → 训练潜空间视频VAE → 时空Patch化与主干设计→ 条件注入 → 训练循环 → 采样与引导 → 加速与工程化 → 验证调优
做什么:明确时长、分辨率、帧率、风格、可控程度(仅文生视频,还是支持首帧/参考图控制),以及单条视频的延迟预算。
为什么做:这些参数决定潜变量张量的形状,进而决定 token 数量和显存占用。后文步骤 5 会看到,token 数量与分辨率、帧数的乘积成正比,而注意力计算量与 token 数量的平方成正比。规格定得过高,往往还没开始训练就遇到显存瓶颈。
注意什么:
做什么:
为什么做:模型对文本指令的遵循能力,上限由”描述—画面”配对的质量决定。描述含糊或存在系统性偏差,再大的模型也学不对。
注意什么:
做什么:选择网络需要学习的目标量。业界主流有两类:
为什么做:流匹配的路径更”直”,训练目标形式简洁,配合高阶求解器通常可用更少的采样步数得到稳定结果。近年的主流视频生成方案多采用流匹配或与之等价的表述。两类方法并非互斥,实践中可根据算力、数据规模和采样步数预算灵活选择。
注意什么:无论采用哪种目标,训练目标与推理求解器必须配套。用扩散目标训练、用流匹配求解器采样,或反之,都会导致结果异常。
做什么:训练一个视频自编码器:
为什么做:如果直接在像素空间扩散,计算量将大得难以承受。以分辨率 720×1280、时长 5 秒、帧率 24 为例:
| 处理方式 | 元素数量 |
|---|---|
| 直接在像素空间(RGB 三通道) | 720×1280×120×3 ≈ 3.3 亿 |
| 经空间 8 倍、时间 4 倍压缩后的潜变量 | (720/8)×(1280/8)×(120/4)×C ≈ 432×10³×C |
即使潜变量通道数取 16,元素数量也只有像素空间的约 2%;通道数取 48 时,也仅约 6%。
注意什么:
做什么:将视频潜变量沿时间、高、宽三个方向切分为三维小块,每块展平后经线性层映射为固定维度的 token,再拼成序列。
为什么做:
注意什么:
做什么:堆叠若干层 Transformer 块,每个块包含多头自注意力与前馈网络两个子层。DiT 的关键设计是条件注入方式:
为什么做:
注意力模式可选:
位置编码:视频中的时间、空间顺序信息不会自动进入注意力,需要通过位置编码显式注入。连续时间轴尤其需要能外推到更长时长的编码方式,可关注旋转式位置编码、绝对位置嵌入等业界通用做法。
注意什么:网络深度、宽度和头数并非越多越好。显存有限时,应优先通过潜空间压缩、Patch 大小和注意力模式控制序列长度,而不是一味堆叠层数。
做什么:
为什么做:DiT 输出的是”被人类描述约束的样本分布”,文本条件越准确、注入位置越合理,模型越能”听懂”意图。把文本同时注入交叉注意力与自适应归一化,相当于从”局部语义对齐”和”全局风格调节”两个层面约束生成。
注意什么:
做什么:
为什么做:
注意什么:
做什么:
为什么做:
注意什么:
做什么:按以下思路逐层削减成本:
为什么做:生成质量决定”能不能用”,推理成本决定”能不能规模化”。
注意什么:加速手段应一项一项引入,每引入一项都回测质量指标,防止为提速牺牲可接受范围内的画质。
以下参数均为业界常见通用配置项,具体取值需结合数据、算力与业务目标自行实验确定。示意性取值如下:
| 配置项 | 含义 | 取值逻辑 | 风险提示 |
|---|---|---|---|
| 分辨率 / 帧数 / 帧率 | 输出视频规格 | 先低后高;帧数须与时间 Patch 数匹配 | 规格过高直接导致显存溢出 |
| 潜变量压缩比 | VAE 时空压缩程度 | 空间约 8 倍、时间为常见参考值 | 压缩过高导致运动细节丢失 |
| Patch 大小 | 每个 token 覆盖的时空区域 | 小 Patch 质量高、开销大 | Patch 过小使序列长度暴涨 |
| 网络深度 / 宽度 / 头数 | 主干容量 | 与算力预算匹配,逐级放大验证 | 盲目堆叠导致收敛慢、过拟合 |
| 注意力模式 | 全时空或时空分解 | 显存紧张时优先分解式 | 纯分解模式可能削弱全局一致性 |
| 训练目标 | 扩散式或流匹配式 | 需与采样求解器配套 | 目标与求解器不匹配,结果异常 |
| 引导强度 | 提示词约束强弱 | 从适中值起步逐步调整 | 过大导致画面过饱和、失真 |
| 采样步数 | 去噪迭代次数 | 在质量达标前提下取最小步数 | 步数过少导致结构模糊、闪烁 |
| 随机种子 | 初始噪声可复现性 | 固定用于评测对比 | 随机导致结论不可复现 |
| 文本描述长度上限 | 提示词截断阈值 | 覆盖大多数描述长度 | 过长截断丢失关键语义 |
以下伪代码与具体框架无关,用于说明逻辑。
1. 时空 Patch 化
def patchify(latent, t_patch, h_patch, w_patch, embed_dim):# latent 形状: [B, C, T, H, W] B 为批大小,C 为潜变量通道数B, C, T, H, W = latent.shape# 1) 按时间、高、宽三个方向切分为三维小块patches = unfold_3d(latent, kernel=(t_patch, h_patch, w_patch))# 2) 展平每个小块并映射为固定维度向量# patches 形状: [B, N, C * t_patch * h_patch * w_patch]tokens = linear(patches.reshape(B, -1, C * t_patch * h_patch * w_patch), embed_dim)# 3) 拼接时空位置编码后返回return tokens + spacetime_positional_encoding(tokens.shape)
2. DiT Transformer 块(自适应零初始化)
class DiTBlock:def __init__(self, embed_dim, num_heads):self.norm1 = LayerNorm(embed_dim)self.attn = MultiHeadAttention(embed_dim, num_heads)self.norm2 = LayerNorm(embed_dim)self.ffn = FeedForward(embed_dim)# 由条件向量生成 6 组调制参数: 两个子层各自的 shift、scale 与 gateself.adaLN = Linear(embed_dim, 6 * embed_dim)init_weights_zero(self.adaLN) # 初始时 gate 为 0,等价于恒等映射init_weights_zero(self.adaLN_final) # 输出投影同样零初始化def forward(self, tokens, condition):shift1, scale1, gate1, shift2, scale2, gate2 = self.adaLN(condition).chunk(6)hidden = self.norm1(tokens) * (1 + scale1) + shift1tokens = tokens + gate1 * self.attn(hidden, hidden, tokens)hidden = self.norm2(tokens) * (1 + scale2) + shift2tokens = tokens + gate2 * self.ffn(hidden)return tokens
3. 训练循环(以流匹配式目标为例)
def train_step(model, vae, text_encoder, batch):videos, prompts = batchwith no_grad():x0 = vae.encode(videos) # 干净视频潜变量text_tokens = text_encoder(prompts) # 文本条件 tokenx1 = randn_like(x0) # 纯噪声t = sample_uniform(shape=(x0.size(0),)) # 每个样本采一个时间步xt = (1 - t) * x0 + t * x1 # 直线插值路径target_velocity = x1 - x0 # 训练目标: 路径速度场tokens = patchify(xt, t_patch=1, h_patch=2, w_patch=2, embed_dim=D)condition = timestep_embedding(t) + pool(text_tokens)v_pred = unpatchify(model(tokens, condition, text_tokens), xt.shape)loss = mse(v_pred, target_velocity)loss.backward()optimizer.step()ema_model.update(model)
4. 推理采样(带无分类器引导)
@no_grad()def generate(model, prompt, num_steps, guidance_scale, seed):set_seed(seed)x = randn(shape=target_latent_shape) # 初始纯噪声text_tokens = text_encoder(prompt)null_tokens = text_encoder("") # 空描述,作为无条件分支for i in range(num_steps):t_now = schedule(i, num_steps)v_cond = velocity(model, x, t_now, text_tokens)if guidance_scale > 1:v_uncond = velocity(model, x, t_now, null_tokens)v = v_uncond + guidance_scale * (v_cond - v_uncond)else:v = v_condx = ode_step(x, v, t_now, next_t=schedule(i + 1, num_steps))return video_vae.decode(x) # 潜变量解码为视频帧
验证清单
常用评价指标
| 指标 | 含义 | 作用与局限 |
|---|---|---|
| 分布距离类指标(如 FVD) | 生成视频与真实视频在特征分布上的距离 | 衡量整体真实感;对提示词遵循度不敏感,需配合其他指标 |
| 文本—视频一致性 | 用图文对齐模型计算描述与画面的匹配程度 | 衡量提示词遵循度;对画面细节质量不敏感 |
| 时序一致性 | 相邻帧之间特征变化或光流的一致性 | 反映闪烁与跳变程度 |
| 人工评测 | 按清晰度、一致性、美观度等维度打分 | 贴近真实体验;成本高、存在主观偏差,需统一评分标准 |
画面静止或运动幅度过小
主体闪烁、身份漂移
不遵循提示词
训练显存溢出
训练损失震荡或不下降
推理太慢
画面颜色过饱和或纹理异常
不同机器结果不一致
性能优化
安全与合规
稳定性
可维护性
成本控制
回到”修行之路”这个比喻:视频生成模型从噪声到成片,经历的是一场”先破坏、再修复”的修行,而 DiT 是这场修行的道场。
本教程的关键步骤可以概括为”一定、二备、三训、四采、五验”:
后续可继续关注的方向包括:
理解这套通用骨架之后,无论选用哪一家的视频生成方案,你都能快速判断它的能力边界,找到最值得调优的环节。