简介:复杂指令让多模态检索频频漏召回。本文对比传统表征与先思考后表征(TTE)在架构、推理能力、延迟和部署成本上的差异,给出简单实时场景与复杂逻辑场景的选型依据,并列出迁移前需要检查的事项,帮助开发者快速判断取舍。
简单实时检索选传统方案。查询包含排序、计算、时序等多步逻辑,且业务能接受额外延迟时,选TTE。迁移期间保留双路召回,两条路径的效果和延迟都可以对比。
在多模态检索、搜推广系统和各类AI应用中,多模态大语言模型(MLLM)承担着核心的表征任务。业务场景变复杂后,用户指令不再局限于“找一只猫”或“描述图片内容”,而是大量包含逻辑推理、时序解析或数学计算。传统的通用表征方案在这类复杂指令上容易漏掉约束条件。
近期,某研究团队提出“先思考后表征”(Think-Then-Embed,简称TTE)范式,为这一问题提供了新思路。本文对比两种方案,帮助技术负责人在多模态检索架构选型时做出判断。
方案A:传统通用多模态表征
传统方案的适用范围不止一种。一类是把MLLM当作纯编码器使用:原始查询(图像、文本和指令)直接输入模型,取最后一个token的隐藏态作为向量,全程不生成中间文字。另一类是CLIP等对比学习的双塔模型,它们输出图文对齐的语义向量,同样不做生成式推理。两类方案都属于语义嵌入,都不是关键词匹配,但都缺少显式的多步推理过程。
方案B:先思考后表征(TTE)
TTE在表征前增加一步生成式推理。系统先由“推理器”(Reasoner)生成一份面向表征的推理轨迹(ECR),相当于打草稿、理清思路。随后,编码模型结合原始问题和这份草稿,输出最终向量。
1. 技术架构与处理流程
传统方案是单次前向传播,示意如下:
# 传统方案:直接表征vector = MLLM.encode(image, text, instruction).last_hidden_state
TTE增加了解码生成步骤,属于两阶段架构:
# TTE方案:先思考后表征ecr_draft = Reasoner.generate(image, text, instruction)vector = MLLM.encode(image, text, instruction, ecr_draft)
两阶段结构意味着TTE需要额外的生成时间,同时换来了显式的中间推理结果。
2. 复杂指令理解能力
这是两者最主要的差异。传统方案在一次前向中把整段指令压缩成一个向量,对排序、计算、时序等约束的保留能力有限。以视觉定位任务为例,查询“离相机第二近的车辆”时,传统向量通常会偏向“车辆”这一概念,检索结果可能包含所有车辆,无法稳定区分远近次序。
TTE会先在草稿中写出推理步骤,例如“识别所有车辆,按距离排序,取第二近车辆的特征”,再基于这份草稿生成向量,因此更有机会命中目标。
文档检索中的“某年比某年增长50%的指标”是另一个例子。传统向量能捕捉年份和“增长”等词,但对多步计算约束的刻画较弱。TTE会在草稿中先算出增长率,再提取对应指标的特征。
需要注意,TTE的效果高度依赖ECR质量。如果推理器算错或看错画面,生成的向量会偏离正确答案,而且错误不易察觉。上线前必须在目标领域的样本上验证。
3. 性能表现与部署成本
原始材料中提到“成本可降低约一半”和“小模型可超越传统大模型”,但没有给出评测基准、模型参数量、测量口径或来源,本文无法核实这些数字。
更稳妥的说法是:在某些实验中,小模型配合TTE可能接近大模型的效果,这说明生成式推理有机会弥补参数量差距。具体收益取决于基准、数据和模型选择。成本节省比例需要在自身业务负载上实测,关注的指标包括推理卡数、显存占用、每千次请求成本,以及P95、P99延迟。
4. 接入难度、延迟与运维
传统方案接入简单,单次前向的延迟可控,运维依赖成熟的编码服务。
TTE需要同时维护推理器和编码器两套服务,自回归生成会增加首字延迟和整体表征延迟。在毫秒级响应的实时检索链路中,TTE需要设置明确的延迟预算,并配合超时降级和异步补偿。
5. 可解释性与失败模式
传统向量难以追溯判断过程。出现漏召回或误召回时,排查只能依靠结果反推。
TTE的ECR草稿是可读文本,便于定位问题。但它的失败方式更隐蔽:推理错误会让向量在语义空间里稳定地偏向错误结果,看上去仍然“有理有据”。
| 对比维度 | 传统通用多模态表征方案 | 先思考后表征范式(TTE) |
|---|---|---|
| 处理流程 | 单次前向,直接取隐藏态 | 两阶段:先生成ECR,再结合草稿表征 |
| 模型能力利用 | 主要用于编码与特征提取 | 同时利用生成式推理与编码能力 |
| 复杂指令处理 | 缺少显式多步推理,排序、计算、时序约束精度受限 | 草稿显式展开排序、计算、时序步骤,精度依赖ECR质量 |
| 部署成本 | 复杂指令上往往依赖更大参数量的模型 | 可能用较小模型达到相近效果,需实测推理与生成开销 |
| 响应延迟 | 低,适合高并发实时检索 | 较高,需设定延迟预算 |
| 可解释性 | 较弱,难以追溯判断过程 | 较强,ECR草稿可用于排查错误 |
| 典型失败模式 | 相似内容被整体召回,遗漏约束条件 | ECR推理出错导致向量偏离,错误较隐蔽 |
| 冷启动与运维 | 依赖成熟,运维简单 | 需维护两套服务,并收集领域指令数据 |
| 适用场景 | 电商以图搜图、简单图文检索 | 视觉定位、长视频时序QA、复杂图表检索 |
适合传统方案的场景
电商商品图搜索、相似图像推荐等场景,查询指令没有“第二近”“增长50%”这类逻辑修饰词,并且对延迟要求很高。此时传统方案的低延迟和高吞吐量更有价值。
适合TTE范式的场景
这类场景中,如果业务允许几百毫秒以上的额外延迟,TTE更有机会减少无效召回。若链路有严格的响应时限,建议采用双路召回:传统路径在时限内返回候选,TTE路径负责精排或异步补充。TTE超时时,自动回退到传统结果。
对技术负责人和架构师而言,选型不宜一刀切。如果当前多模态检索的准确率偏低,且大量查询包含复杂逻辑指令,可以优先在离线任务或延迟容忍度较高的检索链路中引入TTE。如果团队运维能力有限,或者业务追求极致响应速度,传统方案配合提示词优化,仍是当前阶段较稳妥的选择。
在云端部署时,可以选用主流云厂商提供的大模型服务和对象存储能力,按调用量与存储量核算成本,再根据业务特点设计混合检索架构。
传统方案和TTE并非简单的替代关系,而是不同需求下的权衡。传统方案延迟低、运维简单,适合简单的实时检索。TTE通过显式的生成式推理处理复杂指令,但会增加延迟与运维成本,错误也更隐蔽。开发者选型时,应先看指令的复杂度和系统的延迟预算,再用自身数据实测准确率与成本,找到合适的平衡点。