简介：本文从原理层面解析音视频联合生成中的非对称双流扩散架构，重点解释为什么音频流与视频流可以采用不对等设计、双向交叉注意力如何实现跨模态约束、以及该机制相比先视频后音频的级联方案在同步性、误差传播和生成控制上的差异。阅读本文可以理解音画联合建模的核心机制、关键模块协作方式、实际优势与边界。
在音视频联合生成任务中，一个长期存在的工程思路是级联式处理：先让视频模型生成完整视频序列，再让音频模型根据视频内容合成对应音频。这种“先视频后音频”的流水线虽然直观，但本质上是一种单向补全策略——音频作为后置结果，只能被动适配已经生成的视频，无法反向影响视频中的口型、动作节奏、物理碰撞时间点等细节。
本文要解析的技术原理，是一种基于扩散模型的非对称双流架构。它的核心思路不是在已有视频生成模型上追加一个音频模块，而是在扩散去噪的每一步中，让视频流与音频流共享隐变量信息，并通过双向交叉注意力进行实时互操作。这样，音频不再只是视频的“后期配音”，而是成为视频序列生成过程中的一种约束信号；反过来，视频内容也可以持续校准音频的节奏与语义。
这种设计希望解决的根本问题可以概括为：如何让音频与视频在生成过程中形成双向信息流，而不是单向补丁式生成。
要理解非对称双流架构的动机，首先要明确级联音视频生成方案存在哪些结构性缺陷。
在级联流程中，系统首先根据文本提示生成视频。此时视频中的细节，例如人物嘴部运动、物体碰撞发生的时间点、动作加速或减速的节奏，已经由视频模型确定。随后音频模型再依据这些视频帧去合成声音。
问题在于：一旦视频模型在口型、动作时序或物理细节上出现偏差，音频模型只能“将错就错”。例如视频中人物张嘴的持续时间略短于真实发音所需时长，音频模型只能压缩或拉伸音素去迁就视频，而无法反向修正视频中嘴型的开合节奏。后置组件无法修改前置组件的输出，这是级联方案最本质的局限。
视频生成本身的难点之一，是保持长序列中的时空一致性。物体运动是否符合物理规律、人物动作是否连贯、场景光影是否稳定，这些因素都会影响生成质量。当音频作为后置阶段加入时，音频的节奏、语义、事件对齐又引入了新的对齐需求。
级联方案中，前序误差与后序误差会叠加。视频模型在长序列生成中产生的轻微时序漂移，可能在音频合成时被进一步放大，最终表现为音画不同步、动作与声音语义脱节。
文本提示适合描述宏观语义，例如“一个人在雨中行走”，但很难精确表达“脚步声在第 3 秒出现，雷声在第 7 秒响起，语速在前半段较慢、后半段加快”。这种微观时序信息，仅靠文本条件很难有效注入视频生成过程。而音频本质上是一种强时序信号，它可以为视频生成提供更细粒度的时间约束。
因此，一个更合理的方案是：让音频信号在生成过程中就参与视频序列的时序建模，而不是事后对齐。
“双流”指的是系统中同时维护两条生成通道：一条负责视频 token 的去噪，另一条负责音频 token 的去噪。每条流都有自己的特征表示和去噪路径。
但与传统对称双编码器不同的是，这里的双流并不要求参数量对等。视频数据在空间维度和时间维度上都具有很高的信息密度，一帧图像可能包含大量视觉细节；而音频在单一时间点上的信息密度通常低于视频。信息密度不对等决定了对称设计会带来冗余参数和训练困难。
非对称双流架构的核心判断是：视频流需要更重的模型容量来捕捉空间细节与运动模式，而音频流可以采用相对轻量的结构。两者在每一步去噪中通过交叉注意力交换信息，而不是各自独立完成生成后再拼接。
这种设计避免了以下两个问题：
交叉注意力是双流之间信息交换的关键机制。在每一步去噪迭代中，视频 token 通过注意力机制查询音频 token，同时音频 token 也查询视频 token。这种双向查询意味着：
注意力的双向性是实现互信息交换的基础。单向交叉注意力只能让一个模态向另一个模态对齐，双向设计才能让两者相互修正。
一个基于非对称双流扩散的音视频生成系统，通常包含以下几个关键模块：
承担视频 token 的扩散去噪任务。该网络需要同时处理空间维度上的视觉细节和时间维度上的运动连续性，因此通常是双流中参数规模更大的一侧。其结构可以基于通用视频扩散骨干，但在每一层中为交叉注意力预留接口。
承担音频 token 的去噪任务。由于音频信息在单一时间点上的密度低于视频，该网络可以采用更轻量的设计。轻量并不意味着功能弱，而是针对音频的时序特性进行适配，例如更强调时间维度的感受野。
这是连接两条流的核心组件。在每一层去噪网络中，视频流和音频流都会通过交叉注意力模块互相查询。具体来说：
这种双向查询可以发生在多个层级，也可以在特定层级加倍强化，例如在对应口型与语音的语义层级加强交互。
文本提示通过通用条件注入机制进入扩散过程，例如通过交叉注意力或特征拼接。文本条件的作用是提供宏观语义引导，而音频和视频之间的互信息则负责微观时序约束。两者并不冲突，而是层级互补。
音画同步的底层问题，部分需要在分词器层面解决。视频分词器将视频帧转换为离散或连续的 token 序列，音频分词器将声波或频谱转换为 token 序列。对齐层的任务是确保两个模态的 token 在时间轴上有明确的对应关系，为后续交叉注意力提供索引依据。
以下用一个通用的扩散生成流程来说明非对称双流架构的运行过程。
系统为视频流和音频流分别初始化随机噪声。由于两者需要共享时间轴，初始化时通常会对齐它们的时间步长与序列长度关系。
文本提示通过条件注入模块进入两条流。视频流和音频流都会接收文本条件，但处理方式可能不同。视频侧重理解场景、物体、动作语义，音频侧重理解事件、发声类型、节奏暗示。
在每一步去噪中，系统执行以下操作：
上述过程在每一步去噪中重复进行，直到达到预设的去噪步数。
去噪完成后，视频 token 通过视频解码器生成最终视频帧序列，音频 token 通过音频解码器生成波形或频谱。由于去噪过程中两条流已经完成了双向约束，最终结果在时间对齐和语义一致性上优于级联方案。
音频信号天然的时序特性使其成为视频生成的有效约束源。比如脚步声的间隔可以约束腿部运动节奏，语速变化可以约束口型开合频率。在交叉注意力机制下，视频 token 在每一步去噪时都能感知到音频侧的时序状态，从而在生成过程中持续调整。
与后端对齐不同，这种调整发生在去噪过程中，具有因果性：视频的生成过程直接就受到音频的影响，而不是生成后再修正。
级联方案中，视频误差向后传播给音频，而音频无法反哺视频。非对称双流架构中，两条流的误差都可以通过交叉注意力向对方传递，并在去噪迭代中逐步消解。例如，如果视频中某个动作的时间点出现偏差，音频 token 可以通过查询视频 token 感知到这一偏差，并在后续去噪中调整自身；同时视频 token 也会查询音频 token，从而修正动作时序。
在论文展示的注意力热力图可视化中，可以观察到一个现象：音频 token 与视频中语义相关的区域产生了明显的注意力权重。例如，当音频中出现脚步声时，视频中脚部落地区域的 token 会获得更高的注意力响应；当音频中出现说话声时，视频中嘴部区域会显示更强的对应关系。
这种注意力模式说明，双向交叉注意力在训练过程中自动学习到了跨模态的语义对齐关系，而不需要人工定义对齐规则。
假设要生成一段“一个人在木地板上快走，同时有脚步声”的视频。
| 优势 | 原理来源 |
|---|---|
| 音画同步性提升 | 双向交叉注意力使两模态在去噪全程共享时序信息 |
| 可控性增强 | 音频可作为时序约束，部分替代文本提示难以表达的微观节奏 |
| 参数效率更高 | 非对称设计避免为音频复制视频级骨干网络造成的冗余 |
| 训练更稳定 | 容量匹配任务复杂度，降低双模态联合训练中的优化冲突 |
| 避免误差级联 | 两流同时生成，不存在后置组件无法修正前置输出的问题 |
对齐结构依赖分词器设计：如果分词器层面无法有效对齐视频和音频的时间轴，交叉注意力的作用会受到限制。底层 token 的时间粒度匹配需要仔细设计。
训练复杂度仍然较高：虽然非对称设计比对称双流更高效，但相较单一视频生成模型，联合训练仍需要处理双模态的数据分布差异、优化目标平衡以及跨模态梯度冲突。
长序列稳定性：视频序列较长时，跨模态交叉注意力的计算复杂度会增长，同时长时间跨度上的语义对齐仍然具有挑战性。短时对齐容易实现，长时一致性需要额外的时间建模策略。
对文本条件的依赖：虽然音频可以提供时序约束，但如果文本提示本身语义模糊或包含歧义，双流模型仍可能生成不符合预期的内容。文本条件与跨模态约束之间存在权衡。
非对称双流的关键不在于“音频网络小”，而在于两条流在去噪全程通过双向交叉注意力交换信息。如果只是简单缩减音频网络规模而没有互操作机制，本质上仍然是两个独立模型。
交叉注意力和特征拼接有本质区别。拼接是静态地将两个模态的特征放在一起，而交叉注意力是动态的、内容相关的查询过程——某个视频 token 关注哪些音频 token，取决于它们之间的语义关系，而不是固定索引。
联合训练是必要条件，但不是充分条件。如果联合训练中两条流之间缺少有效的双向信息交换机制，或者交互只发生在某个单一层级，音画同步问题仍然可能存在。关键在于交互机制的设计，而非简单的参数共享。
在非对称双流架构中，音频不是视频的附属品。双向交叉注意力意味着音频同样可以影响视频的生成结果，例如通过节奏约束修正动作时序。这是一种对等的信息交换关系。
非对称双流扩散架构为音视频联合生成提供了一种不同于级联方案的系统设计思路。其核心原理可以归纳为三点：
第一，信息密度不对称决定了网络容量设计的不对称。视频需要更重的模型捕捉空间与运动细节，音频则可以用轻量结构处理时序信号。
第二，双向交叉注意力使音频和视频从“先后生成”转变为“相互约束”。在去噪的每一步中，两个模态都通过查询对方来调整自身，实现类因果的互信息交换。
第三，音画同步不再是后处理对齐问题，而是生成过程中的内在属性。当音频的时序信号参与视频的生成约束，视频的动作事件也反过来校准音频的节奏，两者的同步性在生成过程中就被持续优化，而不是事后再修补。
这种设计对于理解多模态生成系统具有启发意义：当不同模态之间存在强时序或语义对应关系时，与其在生成后对齐，不如在生成过程中建立双向信息通道。这为后续多模态基座模型的设计提供了一个重要的原理参考方向。