简介:本文梳理多模态大模型中两类主流特征融合方法的工作原理、适用前提与失败场景,并给出选型对比和部署前的检查清单。读者读完可判断自己的数据结构、算力与延迟要求更适合哪种方案,避免因架构错配造成资源浪费。
在大模型能力快速普及的今天,纯文本模型已经很难满足真实业务需求。合同里的表格、网页中图文穿插的段落、产线上的缺陷照片,都同时包含视觉与语言信息。如何把这些异构信息放进同一个模型,是学术界和工业界都要面对的问题。本文从原理、适用前提和失败场景三个角度,比较两类主流融合方法,并给出选型与部署前的检查要点。
特征融合指把不同模态的数据转换成模型可以共同计算的表示。图像经视觉编码器变成一组向量,文本经词表和嵌入层变成另一组向量。两组向量的维度、分布和语义粒度通常并不相同。融合要解决的,就是让这两组向量能够相互读取、相互补充。
简单拼接两组向量并不能完成融合。模型需要通过注意力、投影层或查询模块建立对应关系,例如让“红色”一词关联到图中红色区域的特征。
大语言模型擅长推理和生成,但输入通常只接受文本。现实中的很多信息以图像或版面形式存在,单靠文本处理会丢失这部分内容。以财报为例,关键数字可能只出现在图表中,文字描述无法替代它。
融合方法的好坏会直接影响三件事:模型对图像细节的感知精度、多步推理的准确程度,以及单次响应的延迟。选型时应先确认业务最在意哪一项。
这类方法把大语言模型看作通用的语言能力接口。图像、文本等模态先由各自的编码器处理,编码结果再送入大语言模型。
标准的大语言模型使用因果掩码,每个位置只能看到前文。编码器一侧通常改用双向注意力,每个图像块或词元都能同时参考前后的上下文。这样,视觉特征和文本特征可以在同一套 Transformer 结构中充分交互。
交织数据,即图文穿插的网页或文档,是这种结构的典型输入。模型可以依据位置和上下文判断一张图属于哪一段文字。
双向注意力的计算量随序列长度的平方增长。以 448×448 像素、14 像素补丁的图像为例,每张图约产生 1024 个视觉词元。如果一页文档包含多张图,序列长度很快超过常规显存预算。此时应先做分辨率裁剪或词元压缩,否则推理延迟会明显上升。
稀疏化可以用来降低冗余,例如只保留与任务相关的视觉词元。但稀疏化并非这类架构的自动特性,是否采用、保留多少,取决于具体实现,需要在验证集上逐项测试。
这类方法沿用“视觉编码器加查询模块加大语言模型”的两阶段结构。查询模块由一组可学习的查询向量组成,它从视觉编码器的输出中提取信息,再转换为大语言模型能够读取的视觉提示。
传统查询模块只依赖图像,无论用户问什么,都提取大致相同的特征。指令敏感型设计把用户指令提前送入查询模块,使查询向量根据问题调整关注区域。
例如,用户问“图中红色的汽车是什么品牌”,查询模块会把注意力集中到红色车辆的区域,生成与该问题相关的视觉提示。问题不同,同一张图生成的提示也会不同。
这类方法高度依赖训练数据。如果指令含糊,例如“这个是什么”,查询模块无法稳定地定位关注区域。如果标注的图文不一致,模型可能把文字描述当作视觉事实,从而产生幻觉。另外,若任务需要通读整页版面,查询模块压缩得过狠,关键信息可能被丢弃。
| 维度 | 交织融合 | 指令敏感型查询对齐 |
|---|---|---|
| 适用数据 | 图文穿插的文档、网页 | 单图或少量图加指令的问答 |
| 算力压力 | 序列变长时明显增大 | 查询数量固定,通常更可控 |
| 典型延迟 | 长输入下较高 | 较低,便于在线服务 |
| 主要风险 | 显存和延迟超出预算 | 指令歧义、标注质量差 |
| 训练数据要求 | 需要大量交织语料 | 需要高质量指令数据 |
若业务以问答为主,且输入多为单图,第二类方法通常更容易落地。若业务需要理解长文档的图文关系,则应优先评估第一类方法,并提前规划算力。
早融合、中融合、晚融合的区别在于两种模态在模型的哪个阶段开始交互。
| 融合时机 | 做法 | 优点 | 代价 |
|---|---|---|---|
| 早融合 | 在浅层通过跨模态注意力结合 | 交互充分,细粒度对应较好 | 训练和推理成本高 |
| 中融合 | 在特征提取中段注入指令或查询 | 在精度和成本之间折中 | 设计复杂,调参多 |
| 晚融合 | 各模态独立提取后在决策层拼接 | 实现简单,模块可复用 | 跨模态细节容易丢失 |
指令敏感型查询模块属于中融合。它的好处是可以在不重训视觉编码器的前提下调整提示,但效果仍取决于指令数据的质量。
多模态特征融合没有通用的最优解。交织融合适合长文档和图文穿插的场景,指令敏感型对齐适合指令驱动的问答。选型时,先看数据结构,再看算力和延迟预算,最后用自己的评估集验证。这三步做扎实,大多数选型错误都能提前避免。