简介:本文从定义出发,说明多模态大模型如何把文本、图像、视频等不同类型的数据映射到统一语义空间。文章拆解其核心组成、工作流程、典型场景与常见误区,帮助读者判断该技术是否适合自身业务,以及接入时需要关注的数据、成本与安全问题。
多模态大模型(Multimodal Large Model)是一类能够同时处理两种及以上数据形式的大规模深度学习模型。常见的数据形式包括自然语言文本、图像、视频、音频和结构化表格。模型在统一的表示空间中建立不同模态之间的语义关系,并基于这种关系完成问答、描述、检索、推理或生成等任务。
从技术视角看,多模态大模型通常以大语言模型为核心,外接视觉或音频编码器,再通过对齐机制让不同模态的信息能够相互比较和推理。从使用视角看,开发者可以把一张图片和一个问题一并输入模型,直接得到自然语言回答。这一过程不需要先调用多个独立系统分别完成文字识别、物体检测和语义分析。
可以用一句话概括:多模态大模型是一种能够同时理解文本、图像、视频等多种模态信息,并在语义层面完成对齐与推理的基础模型。
在多模态大模型普及之前,图文理解任务通常采用流水线方案。典型做法是先用文字识别模型提取文字,再用目标检测模型定位物体,然后用分类模型打标签,最后用规则或另一套模型把结果拼接起来。这种方案存在三个常见问题。
第一,链路长,错误会逐级累积。文字识别出现一个字的偏差,后续的规则判断可能全部失效。
第二,语义信息容易丢失。分类标签只能回答”图中有什么”,无法回答”图中人物为什么看起来焦虑”或”这张报表的趋势是否异常”这类开放问题。
第三,每增加一个新任务,通常需要重新标注数据并训练新模型,维护成本随任务数量线性增长。
多模态大模型的价值正体现在这些问题上。统一的输入输出接口可以降低集成成本。基于语义表示的理解能力可以回答开放式问题,而不局限于固定标签。一个通用底座经过领域数据微调后,可以同时服务多个业务场景。此外,模型的生成能力还能用于内容创作、数据合成和仿真训练等环节。
一个典型的多模态大模型由以下五个部分构成。
多模态大模型的工作过程可以分为训练阶段和推理阶段。
预训练的核心目标是让同一语义的不同模态表示彼此靠近。例如,一张狗的照片和”一只正在草地上奔跑的狗”这段文字,在向量空间中应当距离较近;而与”汽车”相关的文字则应当距离较远。常用做法包括对比学习(让匹配的图文对距离拉近、不匹配的拉远)和生成式目标(让模型根据图像预测对应的文字描述)。通过大量图文数据训练后,视觉编码器与语言模型之间形成了可用的语义映射。
预训练后的模型具备理解能力,但还不擅长按照用户的指令输出特定格式的答案。指令微调使用”图像加问题加标准回答”的样本继续训练,使模型学会回答问题、遵循格式要求、拒绝超出范围的请求。
如果业务涉及特定行业,例如工业零件检测、票据识别或医学影像描述,可以用领域数据进行二次微调。领域微调通常只更新部分参数,以降低计算成本并减少对通用能力的破坏。
推理流程可以用下面的通用示意代码表示:
# 通用示意:多模态问答推理流程def multimodal_qa(image, question, model):# 1. 视觉编码:图像切分并编码为视觉向量序列vision_tokens = vision_encoder(image)# 2. 对齐映射:把视觉向量转换到语言模型的语义空间visual_embeds = projector(vision_tokens)# 3. 文本编码:问题转换为词元并映射为向量text_ids = tokenizer.encode(question)text_embeds = model.embed(text_ids)# 4. 拼接输入:视觉向量与文本向量组成统一序列inputs = concat(visual_embeds, text_embeds)# 5. 自回归生成:逐词输出答案return model.generate(inputs, max_new_tokens=256)
整个过程中,模型并不是先识别出物体再查表回答,而是在统一的语义表示上直接完成推理。这也是它能回答开放式问题的原因。
多模态大模型的常见能力可以归纳为以下几类。
需要说明的是,具体能力边界与模型版本、训练数据和部署规格相关。选型时应以实际测试结果为准,不宜仅凭能力列表判断。
多模态大模型适合处理信息以图文或视频形式存在、且需要语义理解的任务。以下是几类常见场景。
在选型和沟通中,以下几组概念经常被混淆。
| 对比项 | 处理对象 | 典型输出 | 主要特点 |
|---|---|---|---|
| 传统计算机视觉模型 | 单一图像 | 固定类别、检测框 | 输出受限于预定义标签,定制成本高 |
| 单模态大语言模型 | 文本 | 文本回答 | 无法直接理解图像内容 |
| 多模态大模型 | 文本加图像、视频等 | 开放式语言描述或回答 | 统一接口,支持开放问题 |
| 基础模型 | 通用多领域数据 | 通用能力 | 覆盖面广,但行业深度有限 |
| 行业模型 | 特定领域数据 | 领域内专业输出 | 通常由基础模型微调得到 |
| 世界模型 | 环境状态与动态变化 | 对未来状态的模拟 | 侧重模拟与预测,可与多模态模型结合使用,但两者不等同 |
此外,多模态理解和多模态生成也需要区分。前者侧重从输入中提取语义,后者侧重根据条件产生新内容。两类能力可以由同一模型提供,也可以由不同模型分别承担。
选型时需要关注输入分辨率和最大序列长度。序列长度决定一次能放入多少张图片、多少帧视频或多长的文本。对于需要精细识别小字体的场景,应选择支持较高分辨率的规格。对于批量处理长文档的场景,应选择序列上限更大的规格。
图像中常包含人脸、证件、车牌和病历等敏感信息。接入前应明确数据的采集、存储和使用范围,在必要时进行脱敏处理。用于微调的数据还需要确认授权状态,避免引入侵权或违规内容。
模型可能描述图中不存在的物体,也可能误读数字、单位或细小文字。在金融、医疗、工业安全等高风险场景中,模型输出应作为辅助信息,并保留人工复核环节。对于计数、精确测量等任务,可以结合专用检测模型或规则校验。
图像和视频会被转换为大量视觉词元,导致推理延