简介:多模态理解侧重让模型"看懂"图像、文本、音频等多源信息,多模态生成侧重让模型"产出"跨模态内容。本文系统解释两类能力的本质差异、当前大模型为何优先发展理解能力,以及背后的表征、评估、数据、训练与成本等原因,帮助开发者理解技术选型与能力边界。
在多模态大模型的语境里,”多模态理解”(Multimodal Understanding)指模型接收图像、文本、音频、视频等多种模态的输入,将其映射到统一的表征空间,进而完成识别、描述、问答、推理等任务的能力。典型任务包括图像问答、文档解析、OCR、图文检索、视频内容描述、表格与版面理解等。它的输出通常仍然是文本或结构化结果,本质是把”非文本信息”翻译成”可被推理的信息”。
“多模态生成”(Multimodal Generation)则要求模型不仅读懂输入,还要跨模态地”产出”新内容,例如根据文本生成图像、图像编辑与风格迁移、生成音频或视频等。其关键难点在于:输出往往不是离散的文本 token,而是高维、连续、对细节极其敏感的信号。
一句话概括:理解是”把多种模态读进来”,生成是”把多种模态产出去”。这两类能力共同构成多模态大模型的能力版图,但它们的工程难度并不对称,这也正是当前业界更侧重理解的根源。
早期多模态系统大多各自为战:视觉任务用视觉模型,语言任务用语言模型,二者通过中间特征拼接。大模型范式出现后,人们希望用一套统一的架构和训练流程,同时覆盖理解与生成。但在实践中发现,这两类任务对表征、数据和算力的要求存在结构性差异,于是逐渐形成”先做好理解、再逐步攻克生成”的技术演进路径。
理解类能力之所以能率先成熟,是因为它天然契合”离散化 + 统一序列建模”的思路:无论图像还是音频,都可以被编码成 token 序列,与文本一起喂进同一个模型。而生成类能力需要把连续信号高质量地”解码”回来,这在建模、训练和推理三个环节都要难上一个量级。
理解任务只需要把多模态输入”压缩”成离散 token,模型在这一步几乎不损失太多可判定的信息。而生成任务要求把 token 反向还原为连续信号(像素、波形),离散化带来的信息损失会被放大,导致细节失真。理解是”有损输入但可判定”,生成是”必须高保真重建”,后者对表征能力要求更高。
理解类任务的答案通常有明确的正确性判据——识别对没对、问答准不准、OCR 出不出错,可以直接用准确率等指标量化。这种”可验证的奖励”让强化学习等方法有清晰的优化方向。而生成质量往往带有主观性(构图好不好、色彩协不协调),难以用单一标量给出稳定、无歧义的评分,奖励信号的噪声极大,训练也更难收敛。
理解类能力可以复用规模庞大的文本语料和图文/音文配对数据,这些数据的采集、清洗和标注流程相对标准化。生成类任务,尤其是高质量图像、视频生成,需要更稀缺、更昂贵、标注更精细的成对数据,数据工程本身就构成一道高门槛。经验反复表明:数据基础没打牢就急着研究新算法,往往长期做不出稳定结果。
一个常被误解的点是:强化学习并不会让基座模型”学会”它原本不会的新知识,它的本质是提升采样效率(sampling efficiency)——让模型已有的能力被更稳定、更高概率地表达出来。有研究通过对 pass@k 的消融实验发现:当允许基座模型无限次采样作答时,其累积正确概率反而会超过经过 RL 的模型;这也解释了为什么在多个技术报告中,SFT 带来的整体涨幅往往可达 5~6 个点,而 RL 通常是 1~2 个点。
这一认知直接决定了训练策略:RL 必须基于基座模型自身的采样进行,而不能简单拿别的模型的回答来当作好坏样本,也不能指望用一两份现成数据”喂”出所有能力。RL 的价值在于一整套完整、正确的流程,而不是某一份成品数据。对于以理解决策为主的任务,基座模型往往已具备相应知识,RL 只需把采样做对;而生成任务从零构造高保真内容,本身就更接近”需要新知识”的难题,收益自然更受限。
理解类任务的推理主要是一次前向编码,开销可控。而生成高分辨图像、长视频,往往需要多步迭代解码,显存占用和延迟都成倍上升。训练阶段更是如此:生成模型的收敛更慢、调参更敏感,infra(基础设施)要求高。相比之下,理解类任务的工程性价比更高,更适合作为大模型能力建设的优先项。
主流大模型大多采用解码器或编码-解码结构,把一切统一成 token 序列进行自回归建模,这与理解任务的输入形态高度契合。而生成任务通常依赖专门的扩散式或专用解码结构,将这些范式无损地融合进同一个模型仍是开放难题。
多模态理解的典型流程可拆为四步:
示意(伪代码,仅表达通用流程):
# 1. 各模态分别编码img_feat = vision_encoder(image) # 视觉编码器aud_feat = audio_encoder(audio) # 音频编码器(可选)# 2. 对齐到语言模型语义空间img_proj = projector(img_feat)aud_proj = projector(aud_feat)# 3. 与文本拼接成统一序列text_ids = tokenizer(prompt)seq = concat(text_ids, img_proj, aud_proj)# 4. 大模型统一推理并输出answer = llm.generate(seq)
在上述场景中,任务的共同点是”输入多、输出可判定”,因此理解类能力更容易落地,也更依赖扎实的训练流程而非单点算法。
多模态理解让模型”读得懂多种模态”,多模态生成让模型”产得出跨模态内容”。当前大模型更侧重理解,是表征离散化难度、评估可验证性、数据成熟度、训练本质(RL 提升采样效率而非注入新知识)、算力成本与架构契合度等多重因素共同作用的结果,而非偶然。理解这条”从目标出发、把数据基础和完整流程做扎实”的演进路径,有助于开发者在能力选型、资源规划与工程落地时做出更理性的判断。