简介:本文系统解释多模态大模型的定义、技术组成与工作原理,说明它如何统一理解和生成文本、图像等多种模态。文章还延伸梳理Agentic强化学习的关键变化:能力瓶颈正从模型容量转向训练环境的质量与规模,并拆解环境扩展、上下文反馈、多模态评判与在线策略蒸馏等核心思路,最后给出与相关概念的区别及选型注意事项。
多模态大模型是一类能够统一建模、理解并生成两种及以上模态信息(如文本、图像、音频、视频)的大参数量神经网络模型。它在同一套参数和统一的表示框架下完成跨模态映射、联合推理与多模态输出,而不是为每种模态单独训练一个模型。从不同视角看,它的含义各有侧重:
概括来说,多模态大模型是以语言为核心、以跨模态对齐为纽带、以统一建模为手段,并具备感知、推理与行动能力的基础模型。下文会反复提到的”Agentic RL”(智能体强化学习),指的是让模型在可交互环境中通过试错和反馈持续学习,而不是只依赖静态数据训练的强化学习范式。
早期系统多采用”单模态分工加流水线”的思路:先用一个模型做图像识别或文字检测,再用另一个模型抽取信息,最后交给文本模型理解或生成。这种方式存在几个难以回避的问题:
多模态大模型的价值正在于用统一模型替代割裂的流水线:
视觉编码器把图像切分为若干小块(patch),输出带有空间位置信息的视觉特征。音频等模态也有各自的编码器。编码器通常在图文配对数据上先做跨模态预训练,使视觉特征天然落在语义空间中。
编码器输出的维度与语言主干不同,需要”翻译”。常见做法有两类:
语言主干负责理解指令、整合图文信息、进行多步推理并生成结果。它带来的上下文学习、指令跟随与思维链推理能力,是多模态模型能够处理开放式任务的关键。
系统把视觉词元与文本词元按一定顺序拼接后送入模型。例如,可以表述为”图像特征 + 文本问题”,也可以允许图文交替出现。由于视觉信息按分辨率和切块方式占据较多词元,分辨率策略直接影响推理成本与细节识别能力。
最常见的是自回归生成文本,覆盖自由回答、结构化输出(如 JSON)和动作指令(如”点击某个按钮”)等形式。
当模型接入智能体中时,还会挂接外部能力,包括:
这些工具让模型不再只靠”脑内想象”,而是能获取新的观察或执行动作。
典型流程如下:
图像先经视觉编码器提取特征,再由连接模块映射为与文本词向量同维的向量,与问题文本拼接成一条混合序列。
语言主干对混合序列逐层做自注意力计算,视觉信息与文本在同一个上下文中互相”参照”。模型因此能回答”图中红色柱子的数值比蓝色柱子高多少”这类必须结合图像细节的问题。
生成阶段通常采用自回归解码,逐步产生回答或动作。在智能体场景中,一次输出只是”一步决策”,系统执行后再把新的观察送回模型,形成”观察—思考—行动—反馈”的循环。
预训练阶段通常预测下一个词元,从而学会模态对齐。对齐和强化学习阶段的目标更多样:
比如下面的伪代码,用策略梯度方法在强化学习阶段最大化任务奖励,同时保留对新模型分布的约束,避免模型为了短期奖励偏离原有能力:
# 示意性伪代码:强化学习阶段的策略优化(不含任何特定框架或产品接口)for step in range(num_steps):# 1. 并行采样:让当前策略在多个环境中与任务交互batch = rollout(policy, environments, num_tasks=num_tasks)# 2. 计算奖励:可验证结果 + 奖励模型打分 + 新模型分布上的额外信号rewards = evaluate(batch, verifier=verifier, reward_model=rm)# 3. 策略梯度更新,并对新模型分布施加约束loss = policy_gradient_loss(policy, batch, rewards, reference_policy=reference)optimizer.step(loss)
一个被反复观察到的现象是:即使视觉编码器质量不差,模型回答视觉问题时仍容易出错,例如漏看小字、数错物体、判断错空间方位。原因往往不在”看”本身,而在于一次前向传播中,图像被压缩为有限的词元,细节在推理开始前就已丢失。业界因此提出”图文交替推理”(常被称为 think with image):模型可以像人一样,先看一眼,发现看不清就放大、裁剪、标注,再带着新观察继续思考。现有方法大致可分为四类。
依靠提示工程或”先写程序再执行”的框架,把复杂问题拆成若干视觉子任务并调用工具完成。
在指令数据中构造”包含视觉操作动作”的推理过程,让模型学会在需要时主动裁剪、放大或标注,再作答。
把每次视觉工具调用视为智能体动作,把工具返回当作新观察,再用结果回报优化策略。
由主控智能体调度一组视觉工具或专用视觉模型,并维护中间结果。
这些路线并不互斥。实践中常见的组合是:用免训练方法快速验证任务可行性,用训练方法固化有效策略,再用强化学习在真实环境中持续提升。
随着多模态模型具备感知与行动能力,训练重心正从”模型容量”转向”环境与数据的质量与规模”。业界在这一点上已有不少共识,但”什么是环境””如何扩展环境”仍缺乏统一、明确的定义。不妨从一个工作定义出发:
环境是智能体可以交互、并能从中获得可验证反馈的任务空间。 它由任务集合、观测空间、动作空间、状态转移规则和奖励来源共同构成。
强化学习本质上是在环境中试错。环境不足会直接制约能力上限:
数量维度上,业界常见做法包括:
质量维度同样关键。一个”坏环境”往往比没有环境更有害:
因此更准确的表述是:环境的价值约等于规模 × 质量 × 可验证性。
早期环境只是执行动作的容器,如今越来越多的设计把环境升级为训练闭环中的主动组件:
在多模态场景中,环境还需要提供真实的视觉观测。例如,在图形界面操作环境里,智能体看到的是屏幕快照,做的是点击、输入、滚动等动作,奖励来自任务是否真正完成,例如目标控件是否出现、文件内容是否符合预期。
智能体在真实使用中持续产生可用于学习的反馈,但现有方法往往将其浪费。大致有两类信号:
如何把这些”聊天中顺带产生”的信号转化为训练数据,是一个被低估的方向。一个设想是:让训练过程更像日常交流,通过自然语言对话不断给出评价与纠正,模型据此更新,从而降低训练门槛。
在智能体强化学习中,一个模型扮演评判者,为另一个模型的输出打分,是常见做法。动因主要有两个:
评判者也会带来风险,包括噪声、偏好偏置(如偏爱更长的回答)、被”讨好”以及对少数派观点的系统性偏差。因此实践中通常需要人工抽检校准、多个评判者交叉验证,以及把可程序化验证的部分交给规则。
另一类思路是把反馈写回上下文,而不是只用作梯度信号。例如:
这种”在上下文中学习”的方式迭代快、成本低,但受上下文长度限制,长期效果仍要靠参数更新来巩固。
在线策略蒸馏可以看作一类特殊的强化学习:学生模型自己采样,教师在学生生成的轨迹上给出分布层面的密集反馈。把它放进”带约束的密集奖励强化学习”的统一视角后,就能自然推导出更强的推广形式,例如通过奖励外推:
对多模态智能体而言,这意味着可以在视觉推理链上同时利用环境回报和教师信号,缓解稀疏奖励带来的训练困难。
| 概念 | 核心特征 | 与多模态大模型的关系 |
|---|---|---|
| 单模态大模型 | 只处理文本或只处理图像 | 多模态大模型通常以其语言部分为核心 |
| 视觉语言模型 | 侧重图文理解与生成 | 可视为多模态大模型的一个子集 |
| 多模态检索模型 | 输出向量用于匹配检索 | 常作为外部检索组件被调用 |
| 文生图/文生视频模型 | 侧重生成,多用扩散类架构 | 可与理解模型组合,构成”理解加生成” |
| 多模态智能体 | 模型加工具、记忆与环境 | 多模态大模型是智能体的”大脑” |
| 检索增强生成 | 先检索外部资料再回答 | 可与多模态模型结合,弥补知识时效性 |
简言之,多模态大模型是能力底座,智能体和检索增强是在其之上构建的系统化方案。
多模态大模型是以语言为核心、统一建模多种模态信息的基础模型。它解决了传统单模态流水线信息流失、误差累积、任务割裂的问题,正在成为智能视觉、文档理解、界面操作等应用的能力底座。
从”看”到”看图推理”的演进,让模型学会像人一样反复观察、主动获取细节;而智能体强化学习的兴起,则把竞争焦点从模型容量转向环境的质量与规模。能够持续提供真实、多样、可验证反馈的环境,正在成为决定智能体能力上限的关键变量。
对于开发者和企业而言,理解这一概念的价值在于:选型时既关注模型的视觉理解与推理能力,也关注配套的环境建设、反馈闭环与评测体系。三者协同,多模态大模型才能真正落地为稳定可用的业务能力。