简介：本文深入解析单流扩散Transformer（Single-Stream DiT，简称S3-DiT）架构的技术定义与核心设计理念。通过拆解其输入信号融合方式、自注意力机制、训练策略与部署优势，帮助读者理解该架构为何能成为新一代生成式基座模型的主流选择。文章同时对比了传统双流架构的差异，并给出了选型与使用时的关键注意事项，适合算法工程师、技术选型人员及大模型应用开发者阅读。
单流扩散Transformer（Scalable Single-Stream Diffusion Transformer，简称S3-DiT）是一种用于图像生成的生成式基座模型架构。其核心思想是：将文本描述、图像潜变量、视觉语义等异构输入信号，统一映射到同一个序列空间中，并交由一个共享的Transformer主干网络进行自注意力计算，从而完成从文本到图像的高质量生成。
理解这一架构的关键在于“单流”二字。它指的是模型内部只有一个统一的序列处理路径，不再区分“文本流”和“图像流”两个独立分支。所有输入信号在进入模型前被拼接为一个长序列，之后便由同一组注意力头进行混合建模。这种设计不同于早期的双流架构——后者需要分别处理文本和图像特征，再通过交叉注意力模块进行融合。
从使用视角来看，S3-DiT架构的直观体验是“快”和“省”：在同等参数量下，它可以支持更少的采样步数（如8步生成），并显著降低显存占用，这使得模型可以在消费级显卡上流畅运行。
在2024年之前，主流的文本到图像生成模型大多采用双流或多流架构，典型代表包括早期的扩散模型和部分多模态Transformer。这类架构需要两个独立的特征提取器分别处理文本和图像，再通过额外的融合模块（如交叉注意力）将两者结合。虽然这种设计在早期取得了不错的生成质量，但也带来了几个明显问题：
随着生成式模型向百亿甚至千亿参数迈进，业界逐渐意识到，简化架构、统一处理多模态信号是提升效率的关键路径。S3-DiT正是这一趋势下的典型产物。它通过将多种信号拼接为单一序列，让模型自主学习跨模态关联，省去了人工设计的融合模块，从而在保持生成质量的同时大幅降低计算成本。
S3-DiT架构的输入并非单一模态，而是由三类异构信号在序列维度上拼接而成。这种设计让模型能够同时利用文本语义、图像结构和世界知识。
文本描述首先经过一个轻量级双语大语言模型编码，将其转换为高维语义向量。该编码器具备强大的中英文理解能力，能够捕捉用户提示中的关键实体、属性、空间关系和风格倾向。这类轻量级编码器的参数量通常在几十亿级别，既保证了语义提取的充分性，又不会过多增加整体模型体积。
图像侧采用高保真重建的自编码器（VAE）将输入图像压缩为潜空间中的连续表示。对于纯文本生成任务，该部分通常以可学习的填充Token或空潜变量初始化；对于图像编辑任务，则直接编码目标图像。VAE的选择对生成质量有着直接影响——高保真重建的VAE能够保留更多细节纹理，减少模糊和伪影。
这部分由提示增强器生成，它本质上是一个轻量级视觉-语言预训练模型，用于从文本描述中提取高层的语义上下文，并将这些信息注入到序列中。它的作用是补充大语言模型编码时可能忽略的视觉常识——例如物体间的相对位置、光照方向的合理性、材质的物理属性等。这一设计使得模型在复杂场景生成中更加“懂世界”，而不是仅仅做单纯的文本到像素的映射。
S3-DiT的工作流程可以划分为四个阶段：
第一阶段，信号编码。文本经过语言模型编码为文本Token；图像经过VAE压缩为潜变量Patch；提示增强器从文本中提取视觉语义Token。三类信号均转化为固定维度的向量表示。
第二阶段，序列拼接。在序列维度上，将三类Token按一定顺序拼接为一个长序列。拼接的顺序、信号之间的比例（即Token数量）属于超参数，需要在训练中调优。
第三阶段，自注意力计算。拼接后的序列输入Transformer主干。每条Token都会与序列中所有其他Token计算注意力权重，从而让模型自主发现文本与图像之间的对应关系。这个阶段不再有“文本侧”和“图像侧”的区分，所有信息在同一个特征空间内自由交互。
第四阶段，潜变量解码。经过若干层自注意力计算后，模型输出最终的图像潜变量，再交由VAE解码器还原为像素级图像。
整个过程取消了显式的交叉注意力机制，而是依赖自注意力来隐式完成跨模态对齐。这一设计不仅简化了模型结构，还让信息流动更加充分——因为每条Token都能直接访问全局上下文，而不必受限于两个分支之间的有限通道。
S3-DiT架构的优势不仅体现在结构上，也体现在训练方法的创新上。为了让模型在8步内生成高质量图像，训练过程通常结合两类关键技术。
传统的扩散模型需要数十甚至上百步迭代去噪，推理成本较高。蒸馏技术的目标是将一个训练充分的大模型（教师模型）的知识迁移到一个推理步数更少的学生模型。解耦分布匹配蒸馏是一种较新的蒸馏范式，它将分布匹配与风格迁移解耦，分别优化学生模型的整体分布和细节纹理，避免了两者互相干扰的问题。这一技术在S3-DiT上的实际效果是：模型在8步推理时生成的图像质量，可以接近教师模型在50步时的水平。
仅靠蒸馏，模型可能会在部分样本上产生模式坍缩或细节丢失。因此，训练流程中还引入了强化学习阶段，以图像质量评估模型的奖励信号来微调模型参数，让模型主动学习哪些生成行为会带来更高质量的输出。同时，正则化项被引入以约束更新幅度，防止模型在强化过程中偏离原始分布过远，从而兼顾生成多样性和稳定性。
这种“先蒸馏、后强化”的训练策略，使得S3-DiT在极低步数下仍能保持较高的图像质量和语义一致性。
基于S3-DiT架构的模型广泛适用于以下场景：
理解S3-DiT时，最常见的混淆点是它与传统双流架构（如MMDiT样式）的区别。下表梳理了核心差异：
| 对比维度 | 单流架构（S3-DiT） | 双流架构 |
|---|---|---|
| 输入处理 | 文本与图像拼接为单一序列 | 文本与图像分别编码为两个序列 |
| 跨模态融合 | 自注意力自动完成 | 依赖交叉注意力模块 |
| 参数效率 | 较高，无冗余分支 | 较低，需要维护两套权重 |
| 训练难度 | 相对简化 | 需要精细调节融合模块 |
| 推理速度 | 更快，利于低步数生成 | 相对较慢 |
| 扩展性 | 便于增加参数和输入模态 | 结构复杂，扩展成本高 |
值得注意的是，单流架构并非在所有任务上绝对优于双流。对于需要分别控制文本和图像输入粒度的高级任务，双流架构有时更便于实施精细控制。但在大多数生成式任务中，单流架构的简化设计与高计算效率更占优势。
在实际使用S3-DiT架构模型时，需关注以下几点：
单流扩散Transformer（S3-DiT）通过统一序列建模、自注意力融合和高效的训练策略，在保持生成质量的同时显著降低了推理成本和显存需求。它代表了大模型架构设计从“复杂融合”走向“简洁统一”的演进方向。对于开发者而言，理解这一架构的核心逻辑，有助于在模型选型、推理调优和场景适配中做出更合理的决策。在当前生成式基座模型快速迭代的背景下，掌握单流架构的设计哲学，也意味着掌握了理解未来模型演进脉络的一把钥匙。