简介:面对含图片、视频的多模态RAG检索需求,原生向量嵌入模型与重排序模型是两条主流技术路径。本文从架构原理、信息损失、延迟成本、训练难度与适用场景等维度系统对比二者,并延伸分析"文本向量加视觉摘要"的传统方案,帮助读者在召回率与工程成本之间做出合理选型。
在实际的 RAG(检索增强生成)系统中,知识库往往并不只有纯文本,还会包含大量图片、视频等多模态数据。如果使用纯文本向量模型,这些非文本素材通常无法直接建模,常见的处理方式有两种:一种是先用视觉语言模型(VLM)把图片或视频转写成摘要或描述文本,再对文本做向量化;另一种是直接使用原生支持图—文(乃至多模态)匹配的向量嵌入模型。
围绕后一种思路,业界出现了两类互补的模型能力:一类是多模态向量嵌入模型(方案A,双塔/Bi-Encoder),另一类是多模态重排序模型(方案B,交叉编码/Cross-Encoder)。二者常被一起提及,但在检索链路中扮演的角色、计算特性与选型逻辑差异明显。本文即围绕这两类能力展开对比,并顺带讨论它们与”文本向量 + VLM 摘要”这条传统路径之间的取舍。
方案A:原生多模态向量嵌入模型(双塔结构)
它将查询(query)与文档(doc)分别编码为独立的向量,通过余弦相似度衡量相关性。由于是双塔独立编码,文档向量可以离线预先算好并存入向量库,检索时只需计算查询向量与候选向量的相似度。它可以原生理解图像、视频等素材,相比”先转文本再向量化”的方式信息损失更少,但对训练数据与算力的要求也更高。
方案B:原生多模态重排序模型(交叉编码结构)
它将查询与候选文档拼接后一起送入模型,直接输出相关性判断(例如判定为”相关/不相关”或给出相关性得分)。因为查询和文档在同一前向过程中交互,其判别精度通常更高,但无法预先计算,必须在线逐一打分,因而延迟与算力开销更大,一般用于对召回结果做精排。
作为参照的第三种路径是纯文本向量模型 + VLM 摘要:先用视觉语言模型把多模态素材转成文字,再走纯文本检索。它复用成熟的文本向量生态,改造成本低,但存在”转写信息损失”与”额外生成延迟”的问题。
从工程视角看,方案A与方案B有大量共通之处:
1. 架构与计算特性
这是最本质的差异。方案A是双塔结构,查询与文档独立编码,文档向量可离线批量预计算并落库;方案B是交叉编码,查询与文档联合编码,天然无法预计算,只能在收到查询后实时打分。这一差异直接决定了二者在链路中的分工:方案A负责”快而广”的召回,方案B负责”慢而准”的精排。
2. 精度与信息损失
双塔由于编码时看不到彼此的上下文,早期交互不足,精度上限相对较低;交叉编码在打分时让查询与候选充分交互,判别更精细,通常带来更高的排序精度。但需要说明的是,原生多模态嵌入相比”VLM 摘要”路径,因为绕开了文本转写环节,反而能保留更多原始视觉信息——所以”信息损失少”是相对转写方案而言,而非相对交叉编码而言。
3. 延迟与吞吐
方案A的检索延迟主要来自向量相似度计算,且文档向量可预计算,整体吞吐高、易扩展;方案B需要在线对每个候选联合编码,延迟随候选数量线性增长,因此只能作用于召回后的少量候选(如 Top-100 → Top-10)。
4. 训练方式与数据要求
以典型的增量训练思路为例,向量嵌入模型通常经历多阶段训练:先做大规模合成数据对(如数亿级 pair)的对比预训练,用带温度系数的 InfoNCE 损失拉近正例、推远负例;再做多任务对比学习,用清洗后的高质量数据(如数千万级 pair)针对不同任务定制目标——检索任务沿用对比损失但去掉 query-query、doc-doc 部分,分类任务把文本或图片作为 query、标签作为 doc,文本相似度任务则用 CoSent 类排序损失保证相似度顺序与真实标签一致。重排序模型则通常在高质量数据上,对多模态基座直接做有监督微调(SFT),采用二分类损失判定”相关/不相关”。整体来看,方案A的训练管线更复杂、对数据规模与清洗质量要求更高。
5. 成本结构与运维
方案A的主要成本在训练与向量库存储(需保存全量文档向量),但推理侧成本低、扩展性好;方案B训练相对简单,但在线推理算力消耗大,对并发与延迟敏感。
| 对比维度 | 方案A 多模态向量嵌入(双塔) | 方案B 多模态重排序(交叉编码) |
|---|---|---|
| 架构 | 查询/文档独立编码 | 查询/文档联合编码 |
| 向量可预计算 | 可离线预计算并入库 | 不可,需在线实时计算 |
| 排序精度 | 相对较低(无早期交互) | 相对较高(充分交互) |
| 在线延迟 | 低,吞吐高 | 高,随候选数增长 |
| 典型角色 | 召回(粗排) | 精排(重排) |
| 训练难度 | 高,多阶段、数据量大 | 中,SFT + 二分类损失 |
| 主要成本 | 训练 + 向量库存储 | 在线推理算力 |
| 扩展性 | 强,易横向扩展 | 弱,受在线算力约束 |
不存在绝对的”谁更好”,应按约束做条件化判断:
多模态向量嵌入模型与多模态重排序模型并非替代关系,而是检索链路中”粗排”与”精排”两个互补环节:前者胜在可预计算、低延迟、易扩展,适合大规模召回;后者胜在交互充分、排序精细,适合对少量候选做质量提升。选型时应围绕数据规模、延迟预算、精度要求与团队工程能力综合判断,并在含多模态素材的场景中优先考虑原生多模态能力以减少信息损失;条件允许时,”多路召回 + 重排精排”的两阶段架构通常能获得召回率与成本之间更均衡的效果。