简介：本文围绕开源视频生成模型的最新架构升级展开，从统一扩散Transformer设计、时空压缩、稀疏注意力、超分网络到多模态理解与训练优化，系统梳理视频生成背后的底层运行机制、模块协作方式及技术边界，帮助开发者和架构师理解高质量视频生成能力是如何通过架构与训练策略共同构建的。
视频生成模型近年来从图像生成扩展而来，其核心任务可以概括为：接收文本、图像或文本与图像组合作为条件输入，通过去噪扩散过程逐步生成具有时间连续性和空间一致性的视频帧序列。与单帧图像生成不同，视频生成不仅要保证每一帧的画面质量，还要维护帧与帧之间的运动连贯性、主体一致性和场景稳定性。
本文要解释的技术原理，是一类开源视频生成模型在架构和训练方法上的升级机制。该升级围绕“如何在有限参数规模下提升视频生成质量、推理效率和多模态理解能力”展开，涉及统一扩散Transformer、三维因果变分自编码器、选择性稀疏注意力、少步超分网络以及多阶段训练策略等关键模块。
理解这套机制，需要先回答几个问题：视频的时空冗余如何被压缩和表示？文本和图像条件如何进入生成主网络？长视频序列的自注意力计算如何降低复杂度？低分辨率生成结果如何提升到高分辨率？模型训练如何更快收敛并更符合人类偏好？
早期视频生成模型通常沿用图像扩散模型的结构，在空间维度上扩展时间轴，但会面临几个突出问题。
第一，参数规模与计算成本失衡。 视频数据比图像多出一个时间维度，如果直接扩展图像模型，参数量和计算量会迅速膨胀。参数规模较大的模型虽然具备更强表达能力，但训练和推理成本也会显著上升，不利于开源生态和中小规模部署。
第二，长序列注意力计算瓶颈。 视频帧转换为潜变量后，会形成非常长的时空token序列。标准自注意力机制的计算复杂度随序列长度呈平方级增长，对于十秒级视频来说，推理延迟和显存占用会变得不可接受。
第三，文本理解和字形生成能力不足。 视频生成不仅需要理解自然语言描述，还需要在画面中生成准确的文字内容。传统文本编码器对语义理解较好，但对字形、笔画和文字空间排布的表征能力有限。
第四，分辨率提升与细节修复割裂。 如果仅依赖主生成网络直接输出高分辨率视频，训练难度和计算成本都会很高。常见做法是先低分辨率生成再超分，但超分网络如果设计不当，容易引入模糊、闪烁或纹理失真。
第五，训练优化策略不清晰。 视频生成涉及多个任务、多个阶段，如何设计联合训练方式、选择优化器、安排数据比例，都会影响最终模型的运动连贯性和视觉质量。
在深入架构细节前，需要先建立几个基础概念。
潜空间扩散。 直接在像素空间做扩散计算代价极高，因此通常使用变分自编码器将视频帧压缩到低维潜空间。扩散过程在潜空间中进行，生成完成后再解码回像素空间。
扩散Transformer。 传统扩散模型常用卷积U-Net作为去噪主干网络，而近年来Transformer结构在扩展性和多模态融合上表现出更强能力。扩散Transformer将潜变量切分为token，通过自注意力和交叉注意力建模全局依赖。
时空压缩。 视频在空间和时间上存在大量冗余，相邻帧之间变化通常较小。通过三位卷积或时序下采样，可以在信息损失可控的情况下大幅减少token数量。
滑动窗口注意力。 为降低长序列注意力复杂度，常见做法是限制每个token只关注其邻近范围内的token，而不是全局所有token。这利用了视频时空上的局部相关性。
条件注入。 文本条件、图像条件或类别条件需要以某种方式进入去噪网络。常见方式包括交叉注意力、拼接、自适应归一化或额外的语义向量拼接。
少步超分。 超分网络的目标是将低分辨率视频放大到高分辨率，少步意味着采用较少推理步骤即可完成，以控制额外延迟。
从系统角度拆解，这套视频生成方案由几个核心模块组成。
该模块负责将原始视频从像素空间变换到潜空间，并在时间轴上执行因果压缩。因果性意味着当前帧的编码不依赖未来帧信息，这对于流式推理和逐步生成更友好。空间维度采用较高压缩比，时间维度采用相对温和的压缩比，在信息密度和token数量之间取得平衡。
这是生成主网络，接收噪声潜变量和条件输入，通过多层Transformer块逐步去噪。该网络被设计为可同时处理文生图、文生视频和图生视频任务。不同任务的差异主要体现在条件输入形式上。
条件编码分成几个分支。文本侧使用大型多模态模型进行双语语义理解，同时使用专门的字符级编码器提取字形特征，两者共同作为文本条件。图像侧则同时利用变分自编码器编码图像内容和语义特征提取网络编码语义向量，分别以通道拼接和序列拼接方式进入主网络。
该模块位于扩散Transformer内部，用于动态剪除冗余的时空token，减少注意力计算量。它不是简单地按固定窗口截断，而是根据token的重要性进行选择性保留。
该网络位于主生成网络之后，接收低分辨率视频潜变量或解码结果，输出高分辨率视频。它需要同时完成空间放大、细节增强和失真修正。
训练侧包括优化器选择和渐进式训练策略。优化器影响梯度更新方向和收敛速度，渐进式训练则在预训练、后训练等不同阶段安排不同数据配比和任务权重。
一次完整的文生视频流程可以拆成以下步骤。
第一步，条件编码。 输入文本先经过双语多模态编码器，得到语义向量。同时经过字符级编码器，得到字形向量。二者合并为最终的文本条件表示。如果是图生视频，参考图像会分别经过变分自编码器得到细粒度潜变量特征，以及经过语义特征提取网络得到语义向量，随后按不同方式注入主网络。
第二步，潜空间初始化。 初始噪声在潜空间中生成，形状与目标视频潜变量一致。目标潜变量的空间分辨率取决于变分自编码器的空间压缩比，时间长度取决于时间压缩比和帧数。
第三步，迭代去噪。 噪声潜变量与文本条件一起送入统一扩散Transformer。在每一轮去噪中，Transformer内部会先对时空token进行选择性稀疏注意力计算，动态判断哪些token需要参与完整注意力，哪些可以跳过或合并。该过程重复多次，直到潜变量从纯噪声逐步变为结构化视频表示。
第四步，潜变量解码。 去噪完成后的潜变量经过变分自编码器解码器，恢复到低分辨率像素视频。
第五步，超分增强。 低分辨率视频进入少步超分网络，输出高分辨率视频。超分网络通过少量推理步骤完成放大和细节优化，同时修正生成过程中可能出现的模糊和失真。
第六步，后处理与输出。 最终视频经过帧率整理、色彩校正等后处理，输出为最终结果。
将文生图、文生视频和图生视频放在同一个扩散Transformer中训练，需要解决不同任务条件输入不一致的问题。
对于文生图，条件只有文本；对于文生视频，条件也只有文本，但输出多了一个时间维度；对于图生视频，条件同时包含文本和参考图像。统一架构的核心思路是让主网络不感知任务类型，而是在输入侧统一条件表示格式。
图生视频中，参考图像通过变分自编码器编码后，其潜变量与噪声潜变量沿通道维度拼接。这样做的好处是，主网络的输入张量在空间和时间维度上仍保持统一形状，只是通道数增加。通道拼接使网络能够在早期层就获得细粒度的图像结构信息，有利于保持主体外观一致性。
同时，参考图像还会经过语义特征提取网络，得到一维语义向量。这个向量被复制并沿序列维度拼接，作为额外的条件输入。语义向量提供更高层的图像内容理解，帮助网络把握场景属性和主体类别，而不只是像素级结构。
两条图像注入路径分别对应“细节重建”和“语义对齐”两个目标。细节重建路径保留了低层纹理和形状信息，语义对齐路径则提供高层概念信息，二者互补。
长视频潜变量的token数量可能达到数万甚至更多。标准全局注意力会让计算量随序列长度平方增长。选择性滑动分块注意力在滑动窗口基础上增加了动态剪枝能力。
它的基本思路是：在每一层注意力中，不是所有token都同等重要。背景区域、静止区域或变化缓慢区域的token包含大量冗余信息。通过一个轻量级重要性评估模块，可以判断哪些token可以被合并或跳过。被剪枝的token不再参与后续注意力计算，从而降低整体计算量。
为什么能实现端到端加速？因为推理过程不仅包含注意力计算，还包括线性层、归一化、残差连接等。如果注意力部分因为序列长度明显缩短而减少计算，其他部分也会因为有效token减少而同步受益。整体上，对十秒级视频的端到端推理时间可以降低接近一半。
变分自编码器采用因果方式压缩时间维度，意味着时间轴上每一个编码单元只依赖当前及之前的帧。对于视频生成任务，因果性带来两个好处：一是训练时可以更自然地处理变长视频；二是推理时如果扩展到流式生成，不需要等待未来帧即可解码当前段。
压缩比的选择需要在信息保留和计算效率之间做权衡。空间维度压缩比较高，因为图像内部空间冗余通常较大；时间维度压缩比较低，因为运动信息随时间快速变化，过度压缩会损失动作细节。不同压缩比组合构成了潜空间形态。
文本条件分为语义编码和字形编码两条路径。大型多模态模型擅长理解复杂语义、空间关系和属性描述，但在生成画面内文字时容易产生错字或乱码。字符级编码器弥补了这一点，它将字符序列作为独立信息源编码为更细粒度的字形表示。两条路径合并后，网络既能理解“画面里有一块写着‘欢迎’的招牌”这个语义，又能较准确地生成“欢迎”两个字的形状和笔画。
为什么需要这样设计？因为自然语言模型通常在词元层面理解文本，一个词元可能包含多个字符，这对于语义理解是高效的，但对于字形级别的空间排布帮助有限。视频中文字往往只占画面一部分，却需要准确笔画和排列。双路编码在语义和字形两个尺度上分别提供条件信号，降低文字生成错误率。
超分网络的目标不是重新生成，而是在已有低分辨率结构基础上补充高频细节。少步设计意味着网络使用较少推理步骤即可完成放大。其可行性来源于低分辨率视频已经蕴含了主要结构和运动信息，超分网络只需学习细节残差和局部纹理修正，而不是从零开始推断。
超分网络需要同时处理空间细节和时序稳定性。空间上要提升清晰度，时间上要避免帧间闪烁。通常会在网络中加入时序模块，对相邻帧进行特征聚合，使超分结果在时间维度上更平滑。此外，超分网络还承担部分去失真作用，例如修正生成阶段可能出现的边缘伪影或颜色偏差。
优化器的选择影响大面积参数更新的效率。较新的优化器在更新规则上对大规模Transformer训练更友好，能够在相同训练资源下更快收敛。相比传统自适应优化器，它在动量和权重衰减的组合上做了调整，使得梯度方向更稳定，参数更新幅度更均衡。
渐进式训练策略则将训练划分为多个阶段。预训练阶段侧重于让模型学习通用视觉概念和文本图像对齐；中间阶段逐步引入视频数据，学习时序运动；后训练阶段使用更高质量的精标数据，并通过偏好对齐方式让模型输出更符合人类审美。不同阶段的数据配比、学习率和任务权重会相应调整，使模型能力逐步递进。
可以用一个简化流程说明模块协作。假设输入是文本“一只猫从桌子上跳下来，慢动作”。
文本首先进入双路编码器，语义编码器理解“猫、桌子、跳下来、慢动作”等关键概念，字形编码器在本示例中可能不产生明显作用。文本条件准备好后，初始噪声潜变量进入扩散Transformer。
在Transformer内部，去噪早期阶段，潜变量中的大部分token还没有形成明显结构，重要性评估模块会保留大部分token参与注意力。随着去噪推进，画面逐渐出现物体轮廓和运动趋势，背景区域token的重要性下降，稀疏注意力机制开始剪除这些冗余token，让计算资源集中在运动主体和关键区域。
每轮去噪都会结合文本条件，引导潜变量逐步朝向“猫从桌上跳下”的方向演化。去噪完成后，解码器输出低分辨率视频。超分网络再对该视频进行空间放大和细节增强，输出高分辨率结果。
如果加入参考图像，例如给出猫的外观图，图像潜变量会沿通道维度与噪声拼接，让主网络在生成过程中持续看到参考外观的细粒度特征。同时语义向量告诉网络这只猫的类别和大致特征。这就是双重图像注入。
优势方面， 统一架构减少了对多个独立模型的维护成本，参数共享提升了训练效率。稀疏注意力在保持画面质量的前提下显著降低计算负载，使长视频生成更接近可行。双路文本编码增强画面内文字准确性。少步超分让低分辨率生成和高分辨率输出解耦，灵活控制成本与质量。渐进式训练让模型在不同阶段获得针对性优化。
限制方面， 第一，视频生成的质量仍受训练数据规模和多样性制约；第二，稀疏注意力可能在高动态复杂场景下剪除重要token，导致运动细节丢失；第三，超分网络对极端低分辨率输入的提升有限；第四，多任务联合训练可能在不同任务间产生互相干扰，需要仔细平衡权重；第五，长时间视频的帧间一致性仍是未完全解决的问题，尤其是主体被遮挡后再次出现时的外观保持。
误区一：认为参数量越大生成效果一定越好。 参数规模与效果并不完全线性相关，架构设计、数据质量和训练策略对最终效果影响显著。较小参数模型通过高效结构设计也能达到相近性能。
误区二：认为稀疏注意力一定会降低画质。 如果剪枝策略能有效识别并保留关键token，稀疏注意力在节省计算的同时可以基本不损害画质。真正关键是重要性评估的准确度。
误区三：认为超分网络只是画面放大工具。 超分网络不仅做空间放大，还承担细节增强和失真修复，对最终观感影响很大。
误区四：将文本编码器仅理解为语义提取。 对视频生成而言，文本条件还涉及字形、排版等更细粒度的信号，单一语义编码器不够用。
现代开源视频生成模型在架构和训练策略上正朝着统一化、高效化和可控化方向演进。统一扩散Transformer将多种生成任务纳入同一网络，降低系统复杂度的同时提升参数利用率。三维因果变分自编码器在潜空间中实现时空压缩，为长视频建模提供可行基础。选择性稀疏注意力针对视频token冗余进行动态剪枝，是提升推理效率的关键手段。双路径条件编码让语义理解和字形生成各司其职。少步超分网络解耦低分辨率生成与高分辨率输出，兼顾质量与成本。训练侧则通过优化器选择和渐进式策略使模型更快收敛并更符合视觉偏好。
理解这些机制，有助于开发者在选择或改进视频生成方案时，更清晰地判断模型设计背后的技术逻辑，而不是只关注表面参数和效果指标。