简介：本文深入对比“直接编码式”多模态表征方案与“先推理后表征”新型范式（TTE）的核心差异。文章将解析两类方案在技术架构、复杂指令处理能力、部署成本及适用场景上的本质区别，帮助从事多模态检索、搜索推荐及模型优化的开发者，理解为何引入生成式推理能显著突破传统表征天花板，并为技术选型提供清晰参考依据。
在跨模态检索、视觉问答、多模态搜索推荐等实际业务中，我们经常需要处理带有明确逻辑约束的查询。例如，在视频监控场景中检索“离摄像机第二近的车辆”，或者在海量图表中定位“相比2020年增长超过50%的指标”。这类查询往往要求系统具备多步推理能力，而不仅仅是完成关键词与视觉特征的浅层匹配。
目前的通用多模态表征方案，虽在大规模图文匹配上表现良好，却在上述复杂指令面前暴露出明显的结构性短板。本文将重点对比两类主流技术路线：一类是传统直接编码式方案，即把多模态大语言模型（MLLM）仅用作特征提取器，直接输出最终表征；另一类是新型先推理后表征范式（Think-Then-Embed, 简称TTE），其核心是先利用模型生成中间推理草稿，再基于草稿与原始输入联合提炼最终向量。为便于描述，下文分别称之为“方案A（直接编码）”与“方案B（推理表征）”。
方案A（直接编码式）是目前业界普遍采用的做法，代表思路可见于多个主流工作。其处理流程简单粗暴：将输入的图像、文本指令拼接到一起，送入多模态大语言模型，模型内部经过多层Transformer计算后，直接取最后一个Token的隐藏层状态作为该图文对的高维表征向量。这种方案的优点是实现便捷、推理速度快，但缺点在于它完全绕过了语言模型最擅长的“生成过程”，相当于让一个研究员只看题目便直接写答案，禁止使用草稿纸。
方案B（推理表征式）则模仿了人类解决复杂问题的思维习惯——分两步走：第一步由“推理器”模块生成一段面向表征的思维草稿，这段草稿并非普通链式思考输出，而是专门整理出与最终检索目标强相关的结构化线索；第二步由“编码器”模块同时读取原始输入和推理草稿，综合提炼出最终的表征向量。整个过程相当于让模型先理清解题思路，再综合题目与思路得出严谨结论，从而有效提升对复杂指令的理解精度。
尽管处理思路不同，方案A与方案B在实际落地中仍存在三个显著共同点：
方案A在实际计算过程中，对于“第20秒出现建筑风格”这类时态或空间定位指令，模型内部并无显式机制对视频帧进行时间索引或空间排序。它只能依赖隐层注意力机制，尝试从全局特征中“猜测”答案线索，效果极不稳定。反观方案B，推理器在生成草稿时会明确写出“第20秒对应画面中的建筑为哥特式风格，特征为尖顶与彩色玻璃”，这种显式化的中间表达相当于将隐式的语义计算转化为显式的文本线索，极大降低了编码器后续聚焦和理解难度。
方案A仅取最后一个Token的隐藏态，这被业内称为“单点表征”，信息容量极其有限。当输入图文较长或指令复杂时，尾Token的隐藏态往往无法完整承载所有细粒度语义。方案B则不同，它会将原始输入与生成的推理草稿在序列维度拼接，编码器经过完整双向注意力计算后，再对序列进行池化操作或额外使用一个可学习的“表征Token”来聚合信息，保证最终向量融入了原始视觉细节与推理结论的双重信息。
方案A由于只有一次前向计算，推理速度较快，适合对延迟极其敏感的线上服务。方案B由于需要先生成草稿再进行二次编码，整体推理时间约为方案A的1.5倍左右。但需要指出，论文公开的实验数据显示，方案B在MMEB多模态基准的五大类任务上平均超越方案A约十几个百分点，同时还以较小规模的模型（如70亿参数级）胜过部分海量私域数据训练的超大规模闭源模型，且单卡即可完成部署，显存占用显著降低，整体服务成本反而更具优势。
| 对比维度 | 方案A（直接编码） | 方案B（推理表征） |
|---|---|---|
| 技术架构 | 单阶段，仅编码 | 双阶段，推理+编码 |
| 复杂指令支持 | 较弱，依赖隐式语义 | 强，显式推理轨迹辅助 |
| 信息利用率 | 仅用尾Token状态 | 融合原始输入与草稿 |
| 推理时延 | 低 | 中高（约为前者1.5倍） |
| 部署门槛 | 低 | 低（但需管理草稿生成） |
| 效果上限 | 受限于编码器容量 | 更易突破表征天花板 |
场景一：大规模图文向量召回（高并发、低延迟） 在电商以图搜款、短视频相似素材召回等业务中，请求量动辄每秒数千次，此时方案A的快速响应优势极为明显。即使偶尔出现对复杂指令的理解偏差，系统通常可通过后期重排模型进行兜底修正，整体链路仍能保证稳定效果。
场景二：精细化检索与复杂问答（重效果、可容延迟） 在学术文献图表问答、安防事件语义检索等场景下，业务方更看重查询理解的精准度，对几百毫秒的额外延迟不敏感。此时方案B能够处理“第二近的车辆”“增长超过50%的指标”等逻辑型约束，输出结果的命中率和相关性显著优于直接编码方案，适合作为精排模块的技术选型。
场景三：多模态内容合规审核 两类方案均无法完美解决。若需判断“图像中是否包含攻击性手势”，方案A可能仅匹配到“手”这一对象；方案B可通过草稿“画面中央人物右手食指与中指竖起并展开”来辅助判断语义倾向。但若涉及跨文化理解差异，仍需专用分类模型辅助。
对于团队而言，建议综合考虑以下因素进行决策：
迁移成本提醒：若现有系统已基于方案A构建了完整的向量索引库，切换至方案B时无需重新构建索引，但需将原有编码模型替换为新模型，并重新对全部底库数据进行离线向量化。此过程耗时较长，需提前规划并行计算资源。同时，新版查询链路会增加额外一次生成请求，需确保网关超时配置足够宽松（建议从200ms提升至600ms以上）。
稳定性与兼容性：推理器在极端输入下可能生成干扰性草稿，例如输入模糊图片时产生幻觉描述。建议在后端增加草稿质量校验模块，若草稿与原始输入相似度过低，则自动回退至方案A的直接编码方式，保证服务可用性。
多模态表征技术正在经历从“单向压缩”到“双向增强”的演进。方案A以简洁高效见长，适合延迟敏感型场景；方案B通过引入显式推理过程，显著提升了对逻辑约束类指令的解析能力，在效果上突破传统天花板的同时，也带来了可接受的额外计算开销。对开发者而言，不存在绝对最优解，关键在于厘清业务中复杂查询的占比、延迟容忍度以及标注资源，选择能最大化长期收益的技术路线。未来，随着推理草稿质量提升与蒸馏技术的成熟，方案B的额外开销将进一步缩小，有望成为多模态检索基础设施建设的主流选择。