简介:“原生多模态”一词在实际使用中含义混杂。本文把它拆成三个层次:同一Transformer处理图文token、预训练阶段即联合训练、完全没有独立视觉编码器。读完可以厘清不同方案的能力边界与成本结构,并判断一个模型属于哪一层。
原生多模态大模型(Native Multimodal Large Model)指的是从训练源头开始,就把图像与文本放进同一套表征与计算体系的大语言模型。判断它的标准是视觉能力在模型中的位置。如果视觉只是后接的附加模块,它属于一种拼接方案;如果视觉从预训练起就与文本共享主干,它才是模型的默认能力。
“原生”一词在实践中被广泛使用,但定义并不统一。多数宣称原生多模态的模型,其实只满足最宽松的条件,因此讨论时常常对不上号。下面把这个概念拆成三个层次,分别说明其能力边界与成本结构。
早期的视觉语言模型大多采用拼接式架构。它的流程是:先训练或选用一个图像编码器,把图像转换为一串向量;再通过投影层把这些向量映射到语言模型的词向量空间;最后与文本token拼接,一起输入语言模型。这种方案工程路径短,可以复用成熟的语言模型,成本较低,因此普及很快。
拼接式方案也有几个常见问题:
原生多模态路线主要针对这些问题。图像在主干中被当作与文本同等的输入后,模型可以在同一组参数里学习跨模态关联,视觉能力也能随主线一起迭代。公开资料显示,近一两年已有团队选择把视觉与文本能力合并到同一条主线,并停止维护独立的视觉产品线。这说明统一路线的维护优势正在显现。对于需要处理截图、文档、界面和视频帧的智能体类应用,这种统一性的价值更为明显。
第一层的核心是图像与文本进入同一个Transformer,并在同一条序列上做注意力计算。图像先经过某种编码方式转换为视觉token,再与文本token拼接。早期常见的“编码器加投影层加语言模型”方案,即属于这一层。
这一层的判断标准较宽松。它只要求视觉与文本共享注意力机制,并不关心两者何时开始联合训练。因此,绝大多数视觉语言模型都满足这一条件,单靠它无法区分不同方案的能力差异。
第二层的区别在训练顺序。第一层通常是先有一个训练完成的语言模型,再外挂视觉能力。第二层则从预训练开始,图像块与文本token就在同一批数据中训练,视觉能力成为主线的默认属性,而不是后接的分支。
这一层的模型仍然包含视觉编码器或图像块嵌入模块,只是该模块位于基础检查点内部,与语言参数同时参与训练。因此,“早期融合”不等于“没有编码器”。它的含义是编码器从一开始就与文本一起训练。
第三层是字面意义上的“无外挂”。像素或图像块直接进入主干网络,不经过一个单独预训练的视觉编码器。低层视觉特征的提取由主干自身完成。
这一层目前的公开样本很少。它的训练难度和算力需求更高,需要在统一结构中同时学习视觉底层特征与高层语义。判断一个模型是否属于这一层,应以技术文档中的结构描述为准,而不是宣传用语。
以第二层的早期融合结构为例,一次多模态推理大致经过以下步骤:
输入: 文本指令 + 一张或多张图像1. 文本 -> 分词器 -> 文本token序列2. 图像 -> 视觉嵌入模块 -> 视觉token序列3. 按位置拼接: [文本token] + [视觉token] + [文本token]4. 送入统一主干网络,进行自注意力计算5. 以自回归方式逐个输出文本token
在这个流程中,注意力机制让视觉token与文本token互相可见。模型可以根据指令关注图像中的特定区域,并把视觉信息转换为文本回答。
两条路线的差别主要在第2步。第二层的视觉嵌入模块在预训练阶段就与主干一起训练。第一层的视觉嵌入模块通常先独立训练,之后再与语言模型对齐。第三层则省去独立的嵌入模块,把图像块直接送入主干。
不同场景对模型结构的要求不同。对延迟和成本敏感、视觉需求简单的任务,第一层方案可能已经够用。对视觉与推理需要深度耦合的任务,第二层或第三层的统一结构更有优势。
选型
接入与配置
运维与安全
性能
原生多模态大模型的关键在于视觉能力在模型中的位置。第一层强调视觉与文本共享同一序列,门槛低,大多数视觉语言模型都满足。第二层强调预训练阶段联合训练,是目前较有代表性的统一路线。第三层强调没有独立视觉编码器,形态最彻底,但公开样本较少。
选型时,应以训练结构和技术文档为依据,而不是以宣传用语为依据。同时结合任务类型、成本预算与安全要求做综合判断。统一路线在维护成本上有优势,但对训练与评测能力的要求也更高。