离散原生自回归多模态大模型：定义与原理全解析

一、概念定义：什么是离散原生自回归多模态大模型

离散原生自回归多模态大模型，是一类在模型设计之初就将文本、视觉、音频等多种模态纳入统一建模目标的大模型。它不是“先有语言模型，再外挂视觉或音频模块”的拼装式系统，而是通过一套共享的离散标记空间，把所有模态的信号都转换为可互操作的离散标记序列，再由单一主干网络在统一的下一标记预测目标下完成训练与推理。

可以从三个视角理解这一定义：

• 技术视角：模态信息不再以连续特征向量的形式“投影”进语言模型的嵌入空间，而是先经各自的分词器离散化，与文本标记共用同一套自回归建模范式；主干通常是采用混合专家结构的仅解码器Transformer，对“当前标记属于哪种模态”保持不可知，从而实现真正的统一序列建模。
• 业务视角：企业可以在一个模型上同时获得语言理解与图像、语音的理解生成能力，而不必为每种模态分别维护一套模型与服务，降低架构碎片化带来的复杂度与运维成本。
• 使用视角：调用方式与通用大语言模型保持一致——输入一段混合了图文音的内容，模型以自回归方式流式产出结果；需要视觉或音频输出时，由对应的去分词器把离散标记还原为连续信号。

近期，某大型科技企业的多模态团队公开了基于这一范式的原生多模态大模型及配套技术报告。据报告描述，该模型在多项多模态基准测试中取得了具备竞争力的表现，并以开源形式开放了核心成果，使“离散原生自回归”从研究思路走向了可复现、可落地的工程实践。

二、背景与价值：为什么需要统一离散自回归建模

要理解这一范式的价值，需要先看清传统多模态建模的两个核心局限。

1. 架构松耦合与“多模态税”

当前主流的多模态系统大多采用“语言+辅助模态”的外挂式设计：视觉或音频信号先由独立编码器处理为连续特征，再通过投影层或适配器接入语言模型。这种设计带来两类问题：

• 架构碎片化：语言主干与各模态编码器、连接模块彼此独立，训练流程、优化策略、部署链路都无法直接复用大语言模型多年沉淀的成熟基础设施；
• 能力冲突：为模型新增多模态能力时，往往会对基础语言能力造成负面影响，业内俗称“多模态税”。其根源在于外挂模块引入了新的参数分布与梯度来源，与语言主干原有的训练目标并不完全一致。

2. 离散视觉建模的性能瓶颈

行业曾长期存在一个判断：视觉信号维度高、信息密度大，若压缩到有限的离散码本中，不可避免会出现信息丢失，因此离散建模在视觉理解任务上难以匹配连续表示方案。这一认知使得“文本走离散标记、视觉走连续特征”成为长期的主流折中。

统一离散自回归建模正是针对上述两点出发：一方面，让所有模态在共享离散空间中对齐，使多模态建模与标准的仅解码器语言架构完全对齐，缓解架构割裂；另一方面，通过配套的视觉组件设计压缩离散化带来的信息损失，让离散方案在视觉任务上重新具备竞争力。对使用者而言，其价值可以概括为：一套基础设施、一种训练目标、一条推理链路支撑全部模态。

三、核心组成：四大关键模块

1. 模态配对的“分词器-去分词器”

为文本、视觉、音频分别设计配对的编码与解码组件：分词器把连续信号（像素、音频特征）映射为离散码本索引；去分词器负责逆向重建。二者通常联合训练，目标是让“离散化—重建”的失真尽可能小，这是整个范式可用的前提。

2. 共享离散标记空间

各模态的离散标记最终汇入统一的词表体系，使“描述一张图的文本标记”与“图本身的视觉标记”处于同一表示体系之下，能够无缝拼接、互相条件化。这正是“原生”二字的含义——模态融合发生在序列层面，而非特征层面的外接。

3. 模态不可知的MoE仅解码器主干

单一主干对输入标记的模态来源不敏感，统一以自回归方式预测下一个标记。引入混合专家结构可以在扩大总参数量的同时控制推理激活成本，让不同模态、不同任务之间共享通用能力，也便于复用大语言模型生态中成熟的训练与推理优化手段。

4. 离散原生任意分辨率视觉变换器

作为框架的核心视觉组件，该设计面向离散视觉建模的两个痛点：

• 原生分辨率处理：直接处理任意分辨率与长宽比的图像，避免强制缩放带来的几何失真与信息损失，尤其有利于文档、图表、截图等对细节敏感的输入；
• 面向离散标记的架构适配：围绕码本索引序列组织注意力与位置编码，使视觉标记在与文本标记混合建模时保持稳定的表征质量。

四、工作原理：一条统一的序列建模链路

训练阶段，任意模态的输入先被各自的分词器编码为离散标记序列，按任务需要拼接（例如“图像标记在前、指令文本在后”），交给单一MoE主干，以与语言建模完全一致的下一标记预测目标进行优化。推理阶段，模型逐个生成标记：若生成的是文本标记，直接解码输出；若是视觉或音频标记，则交给对应去分词器重建为图像或语音。下面用与具体框架无关的伪代码示意这一流程：

# 伪代码：统一离散自回归多模态建模（示意）
t_img  = image_tokenizer.encode(img)      # 连续像素 -> 码本索引序列
t_txt  = text_tokenizer.encode(prompt)    # 文本 -> 标记序列
seq = [bos] + t_img + t_txt               # 多模态序列无缝拼接
while not finished:
    logits = moe_decoder_only(seq)        # 模态不可知的共享主干
    nid    = sample(logits)               # 统一词表上的下一标记预测
    seq.append(nid)
output = route_and_decode(seq)            # 文本直接解码；视觉/音频经去分词器重建

可以看到，除输入输出端的分词与重建外，中间建模过程与标准大语言模型完全同构，这正是该范式能够复用语言模型基础设施的根本原因。

五、典型应用场景

• 图文理解与生成一体化应用：如智能创作、营销素材生成，理解与生成在同一模型内闭环完成；
• 文档与图表智能：任意分辨率的输入处理方式对合同、报表、截图等高细节场景尤为契合，可结合对象存储、文档解析等通用云能力构建处理流水线；
• 语音交互系统：文本与音频统一建模，适合构建对话式语音助手、客服质检等应用；
• 多模态智能体：智能体需要交替执行文本推理与视觉感知，统一主干可以减少跨模型编排的复杂度；
• 内容审核与风控：对图文音混合内容的理解需求与多模态输入天然匹配。

在实际工程中，开发者可以借助云平台的大模型服务、容器平台、消息队列、监控告警等通用能力完成部署与运维，例如在百度智能云上通过通用的大模型接入与算力调度能力搭建多模态应用，将模型能力嵌入既有业务链路。

六、相关概念辨析

• 与外挂适配式多模态方案的区别：后者是“语言模型+视觉编码器+投影层”的组合，融合发生在特征层面；本范式的融合发生在序列层面，主干对模态不可知。
• 与连续表示路线的区别：连续路线主张视觉信息应尽量保留连续特征以避免量化损失；离散路线则认为只要有足够强的分词器与主干，离散标记可以继承语言建模的全部工程红利。二者是对信息保真度与架构统一性的不同取舍。
• 与扩散式生成路线的区别：扩散模型在视觉生成上表现出色，但其建模目标与自回归语言建模不同构；离散自回归路线追求的是“一种目标函数覆盖所有模态”的统一性。
• 与逐模态独立训练的区别：统一建模允许跨模态知识迁移，例如文本中的世界知识可以辅助视觉理解，这是独立训练难以获得的。

七、使用注意事项

1. 码本容量与重建质量的权衡：码本过小会造成信息瓶颈，过大则增加建模难度，需结合业务对视觉细节的要求进行评估；
2. 语言能力回归测试：引入多模态训练后，应针对纯文本任务做回归评估，量化“多模态税”是否被控制在可接受范围；
3. 数据配比与训练稳定性：多模态数据的规模、质量与配比直接影响各模态能力上限，需设计合理的训练策略；
4. 资源与性能规划：任意分辨率输入会带来显存与吞吐的波动，生产环境应设置输入尺寸约束或动态批处理策略；
5. 开源合规：采用开源权重时，应仔细核对许可证条款、评测口径与模型说明文档，再确定商用边界；
6. 安全与内容治理：多模态输入输出通道更多，需配套内容审核、权限控制与审计日志等措施。

八、总结

离散原生自回归多模态大模型的本质，是把“下一标记预测”这一已被大语言模型充分验证的建模范式，无差别地推广到文本、视觉与音频：用配对的分词器-去分词器打通连续信号与离散标记的转换，用共享词表实现跨模态互操作，用模态不可知的MoE仅解码器主干承载统一的训练与推理。它以架构统一性换取工程可复用性，并通过配套的视觉组件设计缓解离散化的信息损失。对于希望以较低架构成本获得图文音一体能力的团队而言，这一范式提供了区别于传统外挂式方案的新选择；而在具体选型时，码本质量、语言能力保持与资源开销，仍是需要重点验证的三个关键问题。