统一自回归架构如何重塑图像生成

图像生成模型发展到今天，主流技术路线已经形成若干清晰分支。其中一类以扩散模型为代表，通过在潜空间中逐步去噪还原图像；另一类则以自回归建模为核心，把图像当作离散 token 序列逐个预测。本文要讨论的原理，是后者中一种更为彻底的设计思路：将文本理解、图像推理与图像生成全部收进同一个 Transformer，用统一的序列建模方式完成多模态输入到图像输出的映射。理解这套机制为什么能成立、内部如何协作、边界在哪里，对于判断模型能否私有化部署、能否后训练、能否支撑业务级改图需求至关重要。

一、背景问题：为什么要统一架构

传统多模态图像系统通常采用”拼接式”设计：一个语言模型负责理解用户指令，一个独立的生成模块负责出图，中间靠结构化描述或布局规划传递信息。这种分工带来两个固有代价：

1. 信息损耗：理解模块输出的中间表示（文本描述、布局框、关键点）必然丢失原始指令中的细节，生成模块只能基于有损信息工作；
2. 误差累积：两个模块各自有误差，串联后误差叠加，改图任务中容易出现”指令理解对了但生成偏了”或”生成质量高但没按要求改”的现象。

统一自回归架构要解决的核心问题，就是消除模块间的信息传递损耗，让语义理解与像素生成在同一参数空间内完成联合建模。

二、核心概念：自回归与 token 化

理解该架构前需掌握两个基础概念。

自回归建模：把输出建模为条件概率链，即按顺序预测第 i 个 token 时，以之前所有 token 为条件。语言模型如此，图像若能被离散化为 token 序列，同样适用。

图像 token 化：通过编码器将图像压缩为离散 token 网格（类似将图像”翻译”成词表索引），再配合解码器从 token 还原像素。token 化质量直接决定生成上限——词表越大、压缩率越合理，细节保留越好。

统一架构的关键在于：文本 token 与图像 token 共享同一套序列接口与同一个 Transformer 参数空间，从而让”读指令”和”画图”成为同一个序列预测任务的不同片段。

三、系统组成：单脑内部的分工

虽然是”单脑”，内部仍存在逻辑上的角色划分：

• 输入接入层：接收文本指令与参考图像，完成 token 化与序列拼接；
• 统一 Transformer 主干：对混合序列做注意力计算，文本 token 与图像 token 互相可见；
• 输出头：按位置预测下一 token，文本段输出语义 token，图像段输出视觉 token；
• 视觉解码器：将预测出的视觉 token 序列还原为像素图像；
• 训练侧组件：tokenizer 训练、序列打包、损失掩码策略等。

关键机制在于注意力掩码设计：文本 token 作为条件前缀对图像 token 全局可见，图像 token 之间按光栅顺序因果可见。这保证了生成时每一步都能”看到”完整指令，同时保持自回归的因果性。

四、工作流程：一次改图请求的完整链路

以”把照片中的白天场景改为夜景”为例：

1. 接入：文本指令 token 化；参考图像经编码器转为视觉 token 网格；
2. 序列拼接：按”指令 token + 图像 token”顺序组装为一条长序列，并附加模态标识；
3. 前向计算：Transformer 逐层计算注意力，文本段建立语义表征，图像段在文本条件约束下形成上下文；
4. 逐 token 预测：从图像起始位置开始，自回归预测视觉 token，每步以已生成的 token 与全部指令 token 为条件；
5. 解码还原：完整视觉 token 序列送入解码器，输出最终像素图；
6. 后处理：分辨率对齐、色彩校正等可选环节。

训练阶段则是上述流程的”教师强制”版本：整条序列一次性输入，对图像段计算交叉熵损失，文本段通常做损失掩码，只优化生成部分。

五、关键机制解析

为什么统一建模能提升改图一致性：改图任务的本质是”保持未指定区域、修改指定属性”。统一序列中，参考图 token 与生成图 token 处于同一注意力上下文，模型可在 token 级别建立”哪里该变、哪里该留”的对应关系，而不依赖外部模块传来的粗粒度布局描述。

训练数据的序列打包：多模态样本长度差异大，需要按长度分桶、填充与掩码，避免无效 token 参与损失计算，这对训练效率影响显著。

推理阶段的采样策略：自回归生成支持温度、top-k 等采样控制，但图像 token 的采样与文本不同——过度随机会导致结构崩坏，通常需要更保守的采样配置或结构约束。

稳定性机制：长序列生成存在误差累积风险，常见做法包括分阶段生成（先低分辨率结构、再细节精修）、缓存已计算注意力键值以降低重复计算、以及超时与重试控制。

六、技术优势与边界

优势集中在三点：语义与生成同空间带来的指令遵循一致性；单一模型便于私有化部署与后训练；序列接口统一使多任务（生成、编辑、风格迁移）共享一套推理链路。

边界同样明确：自回归逐 token 生成在超高分辨率下推理成本随序列长度增长明显；token 化带来的细节损失在纹理密集区域可能显现；对参考图依赖强的任务中，参考图 token 化质量成为瓶颈。这些限制决定了它更适合”质量优先、可接受一定时延”的私有化场景，而非极致低延迟的在线服务。

七、常见误区

• 误区一：统一架构等于没有模块。实际上 tokenizer、解码器仍是独立训练的组件，统一的是建模主干而非全部链路。
• 误区二：自回归必然慢于扩散。推理成本取决于序列长度与并行策略，配合键值缓存与批量调度，差距可显著收窄。
• 误区三：开源权重即开箱可用。后训练需要匹配任务的 tokenizer 兼容性、数据配比与损失设计，直接微调未必达到预期。

八、总结

统一自回归架构的核心机制，是用共享参数空间与统一序列接口消除理解与生成之间的信息损耗，让指令遵循在 token 级别成立。其价值不在于某个单点指标，而在于为私有化部署、二次训练与多任务复用提供了一条结构上更简洁的路径。评估这类方案时，应重点关注 token 化质量、序列长度与推理成本的平衡、以及后训练的数据与掩码设计，而非仅比较单次生成效果。