简介：多模态 Embedding 正在从“图像与文本分别编码”转向“统一视觉语言模型架构”。本文从定义、技术演进、工作原理、典型场景与选型注意事项等角度，系统拆解多模态 Embedding 是什么、解决了什么问题，以及在不同业务中如何选择更合适的实现路线。
多模态 Embedding 是指将文本、图像、音频、视频等不同类型的数据，映射到同一个向量空间中的技术。通过这种映射，不同模态的数据可以用统一的数值向量表示，从而支持跨模态检索、相似度计算、分类、聚类和后续的大模型调用。
从技术视角看，多模态 Embedding 的核心任务不是简单地把图片、文字或视频“压缩成向量”，而是让这些向量在语义上可比较。例如，一段描述“红色曲线代表 Q3 销售额下滑”的文本，与包含该曲线变化的图表图像，在经过多模态 Embedding 后，应当在向量空间中具有较高相似度。
从业务视角看，多模态 Embedding 的价值在于打通不同类型数据之间的检索和理解边界。过去，文本搜索和图片搜索往往依赖两套独立系统；引入多模态 Embedding 后，业务系统可以用自然语言查询图片库，也可以用图片检索相关文档，还可以对图文混合内容进行统一去重、聚类或推荐。
从使用视角看，开发者通常不直接关心向量是如何训练出来的，而是关注三个问题：Embedding 是否稳定、是否支持目标模态组合、以及查询延迟和存储成本是否在可接受范围内。
传统 Embedding 方案通常为每种模态单独训练模型。例如，文本使用基于 Transformer 的编码器，图像使用视觉编码器，二者分别输出向量，再通过对比学习等方式强行对齐。这种思路虽然在过去几年推动了跨模态检索的发展，但也存在明显局限。
第一，模态之间容易形成“语义鸿沟”。文本编码器和图像编码器是独立训练的，它们对同一概念的理解可能不一致。即使通过大批量图文对进行对齐训练，模型在面对复杂组合关系时仍容易失效。
第二，对复杂视觉内容的理解不足。传统方案往往把整张图片编码成一个全局向量，无法细粒度地理解图片中的表格结构、界面按钮、局部区域关系或视频中的时间顺序。当一张图片包含多个语义对象时，单一向量很难表达完整信息。
第三，难以处理图文混合文档。真实业务中经常出现 PDF、网页、报告、聊天记录等同时包含文字、图片、表格和布局信息的内容。如果文本和图片仍然分别编码，系统就无法理解“这段文字解释了上方图表中的某一条曲线”这类关系。
随着原生视觉语言模型的进步，Embedding 技术开始从“分别编码、后期对齐”转向“统一编码、原生融合”。这种变化不是简单的模型替换，而是 Embedding 生成逻辑的根本性调整。
传统多模态 Embedding 的典型思路是双塔结构。文本侧使用一个文本编码器，图像侧使用一个视觉编码器，两个编码器分别输出向量，再通过余弦相似度等方式计算匹配程度。
这种架构的优点是训练和推理相对高效，文本库和图片库可以预先离线向量化，在线查询时只需要处理单个模态。但其缺点是模态之间的交互发生得太晚。文本和图像在编码阶段没有机会交换信息，模型只能依靠训练阶段的全局对齐来弥补理解不足。
例如，对于“含有红色曲线且呈现下滑趋势的图表”这一查询，传统双塔模型需要将整句文本编码成一个向量，并与整张图片的向量比较。它很难精确识别“红色曲线”和“下滑趋势”分别对应图片中的哪些视觉元素。
新一代多模态 Embedding 采用与视觉语言大模型类似的结构。图片不再被单独编码成一个大向量，而是先被切分成若干视觉块，再通过映射层转成视觉 Token。这些视觉 Token 与文本 Token 混合在一起，输入到同一个 Transformer 中进行注意力计算。
这种结构下，文本和图像在编码早期就发生交互。模型可以看到文本中的每一个词如何对应图片中的每一个视觉区域。例如，当输入“图表中的红色曲线”时，模型能够通过注意力机制定位到图片中红色曲线所在的位置，并把这种区域关系编码进最终向量。
统一骨干架构的关键价值在于：
需要注意的是，统一视觉语言骨干并不代表所有任务都要在线计算全部 Token。实际工程中，仍然可以通过提前缓存、分层编码或蒸馏等方式控制成本。
虽然不同实现存在差异，但统一视觉语言骨干架构下的多模态 Embedding 通常遵循相似的处理流程。
文本输入会经过分词处理，生成文本 Token。图片输入会先调整尺寸、切分图像块，每个图像块通过视觉映射层转成视觉 Token。对于视频，通常会先抽帧，再把关键帧作为图像序列处理。对于 PDF 或网页等内容，需要先进行文档解析，提取文本、图片、表格和布局信息。
文本 Token 和视觉 Token 会按照一定顺序拼接成一个序列。例如，当输入是“请判断这张图是否符合以下描述”并附带一张图片时，序列可能形如：
[文本 Token] [视觉 Token] [文本 Token]
这种拼接方式允许模型在同一上下文中理解跨模态信息。
统一序列进入 Transformer 后，通过自注意力机制进行编码。自注意力会计算序列中任意两个 Token 之间的相关性。因此，文本中的“红色曲线”可以关注到图片中的对应视觉 Token，而图片中的“按钮”也可以关注到文本中的“点击”“提交”等词。
经过多层编码后，模型会为序列中的每个 Token 生成向量表示。这些 Token 级表示可以进一步聚合，得到整段输入的 Embedding。
最终 Embedding 通常通过对部分 Token 向量进行平均池化，或直接取特定位置向量得到。为提高相似度计算稳定性，输出向量一般会做 L2 归一化，使得所有向量落在单位超球面上。此时，内积计算就等价于余弦相似度。
查询内容经过同样流程得到查询向量后，可以在向量数据库中与已索引的候选向量进行最近邻搜索。由于文本、图片、视频等不同模态都映射到同一个向量空间，系统无需为不同模态维护不同的检索通路。
这是多模态 Embedding 最直接的应用。用户可以用自然语言搜索图片或视频，也可以上传图片搜索相关文档。例如，在电商平台中，用户拍摄一张商品图片，系统通过 Embedding 在商品库中找到同款或相似商品。
企业知识库中通常包含大量图文混合文档，如产品手册、技术白皮书、流程说明、FAQ 截图等。多模态 Embedding 可以将这些内容统一向量化，支持用户用自然语言提问，系统检索到最相关的段落、图表或页面区域，再交给大模型生成答案。
PDF、扫描件、表格和版面复杂的文档一直是文本处理的难点。多模态 Embedding 可以理解表格的行列关系、图表含义和图文对应关系，从而提升文档解析、字段提取和内容分类的效果。
对于视频数据，可以先抽帧形成图像序列，再通过多模态 Embedding 捕捉时间维度上的信息。典型应用包括长视频中定位某个动作、查找包含特定场景的片段、辅助内容审核和版权识别。
在移动端测试、自动化脚本生成和页面无障碍适配等场景中，多模态 Embedding 可以理解界面上的按钮、输入框、提示文字及其相对位置。这样，系统可以更准确地判断页面状态，或根据自然语言指令定位操作目标。
单模态 Embedding 只处理一种数据类型，如纯文本或纯图像。多模态 Embedding 则面向两种或多种模态，并通过共享向量空间实现跨模态比较。因此，多模态 Embedding 的训练范式、模型结构和评估方式都更复杂。
多模态大模型通常用于生成任务，如根据图片回答问题、生成图像描述或执行视觉推理。多模态 Embedding 更强调表示学习，其输出是向量，而不是自然语言答案。前者关注“生成什么”，后者关注“如何表示”。实际系统中，两者经常配合使用：Embedding 负责召回，大模型负责理解和生成。
OCR 主要解决图像中的文字识别问题，输出的是可编辑文本。多模态 Embedding 则关注语义表示，不仅识别文字，还要理解图像中的布局、图形和图文关系。OCR 可以作为一种前置能力，将图片中的文字提取出来，但这些文字与视觉信息如何融合，仍需多模态 Embedding 处理。
选型前先明确业务中真正需要处理的模态。是图文检索、视频理解，还是 PDF 文档解析？不同方案对特定模态和长文档、高分辨率图片、视频帧序列等复杂输入的支持程度不同。
如果业务涉及图表理解、UI 界面、复杂版面或小目标识别，应优先考虑统一视觉语言骨干架构的方案。如果业务只需要粗略的图片与文本相似度判断，传统双塔方案在成本和吞吐上可能更有优势。
统一视觉语言骨干架构的计算量通常高于传统双塔结构。对于高并发在线检索场景，需要评估 GPU 资源、批处理效率、向量维度和查询延迟。实际部署时可以考虑先离线生成向量库，在线只对查询侧做编码。
向量维度越高，存储和最近邻检索成本越大。选型时需要结合向量数据库能力，合理设置索引类型、压缩方式与召回参数。对于大规模图片库，可以考虑分层召回：先粗筛，再精排。
很多图文混合内容来自 PDF、扫描件或网页快照。抽取质量会直接影响 Embedding 效果。例如，扫描件需要先做图像增强，表格需要正确识别行列结构，多页文档需要合理分段。前处理能力不足时，即使模型本身很强，最终效果也可能受限。
Embedding 模型一旦更换，向量空间通常会发生变化，旧库中的向量可能需要重新生成。因此，在选型初期应尽量选择兼容性和稳定性较好的方案，并为后续模型升级预留重新向量化的流程与资源。
多模态 Embedding 的核心定义，是将不同模态数据映射到统一向量空间，使其能够进行语义层面的比较和检索。传统分离式架构解决了跨模态匹配从无到有的问题，但在复杂视觉理解、图文混合文档和细粒度语义对齐方面存在瓶颈。统一视觉语言骨干架构通过把视觉信息转化为 Token，并与文本 Token 一起进入同一个 Transformer，显著提升了模型对图文关系的理解能力。
这种技术演进并不代表传统双塔方案完全失效。对于模态关系简单、查询时延敏感或计算资源有限的场景，轻量级方案仍然具备工程价值。而对于需要理解复杂图像、图文混合内容或视频细节的业务，统一视觉语言骨干架构则提供了更完整的能力。
在实际选型中，需要从模态组合、理解深度、推理成本、存储规模和前处理质量等多个维度综合评估。多模态 Embedding 的价值不仅在于“将图片转成向量”，更在于让不同模态的数据在同一语义空间中对齐，从而支撑更自然的检索、更准确的知识问答和更深入的内容理解。