大模型嵌入模型是什么？从9B级多模态嵌入模型看技术定位

一、概念定义：什么是嵌入模型

嵌入模型（Embedding Model）是一类将非结构化输入（文本、图像、图文对等）映射为固定维度稠密向量的模型。它的输出不是自然语言回答，而是一个数值向量；这个向量在向量空间中的位置，编码了输入语义的可度量特征。两个向量之间的余弦相似度或内积，可以近似反映两个输入在语义上的接近程度。

与之相对，生成式大模型（如常见对话模型）的输出是 token 序列。二者可以共享同一个模型主干，但目标函数与使用方式完全不同：生成模型追求“下一个 token 的概率分布”，嵌入模型追求“让语义相近的样本在向量空间中靠近、语义无关的样本远离”。

当输入同时包含文本与图像时，这类模型被称为多模态嵌入模型。它把不同模态的样本投影到同一个向量空间，使“一张图”和“一段描述它的文字”可以直接比较相似度。这是跨模态检索、图文匹配等能力的基础。

一个值得注意的工程现象是：当前不少高性能嵌入模型并非从零训练，而是直接继承一个成熟的生成式大模型主干，再追加一个向量输出方法。例如某类 9B 级多模态嵌入模型，其自定义代码量仅约 1KB 量级，做法是继承原生成模型类、新增一个 embedding() 方法：运行主干前向计算、取最后一个有效 token 的隐状态、做归一化后返回。这说明“嵌入能力”在很大程度上是主干预训练知识的复用，真正的差异化落在数据构造与训练策略上。

二、背景与价值：为什么需要这类模型

传统检索方案依赖关键词匹配或浅层向量化，难以处理同义改写、跨语言、图文混合等语义问题。嵌入模型的价值体现在三点：

1. 语义可比：把“意思接近但字面不同”的内容映射到相近位置，提升召回质量。
2. 跨模态统一：文本与图像进入同一空间，支持“以文搜图”“以图搜文”。
3. 工程解耦：向量化是一次性离线或在线前置计算，检索阶段只做近邻搜索，延迟与成本可控。

而“用大模型主干做嵌入”这一路线的价值在于：大模型在预训练阶段已吸收海量语料的结构化语义，将其隐状态直接作为表示，往往比小型专用双塔模型具备更强的语义分辨力，尤其在长上下文、复杂图文场景下更明显。

三、核心组成：一个多模态嵌入模型的典型结构

以继承式改造路线为例，可拆为四个部分：

• 主干网络：Transformer 层堆叠，负责把输入编码为逐 token 隐状态。规模差异主要体现在层数、隐藏维度上。例如同系列不同规格可能呈现这样的梯度：较小规格为 24 层、2048 隐藏维度；中等规格为 32 层、2560 隐藏维度；较大规格为 32 层、4096 隐藏维度。
• 视觉编码器：处理图像输入，把图像块编码为与文本 token 对齐的表示。不同规格可能采用不同深度的视觉编码器（如 24 层与 27 层、1024 与 1152 隐藏维度之别）。
• 池化与归一化模块：把变长隐状态压缩为单向量。常见做法是取最后一个有效 token 的隐状态，再做 L2 归一化，使相似度计算稳定。
• 向量维度配置：输出向量维度可配置，常见区间为 64 至 4096，支持按存储成本与精度需求做权衡（如 Matryoshka 式可截断表示）。

配套的还有权重体积与精度：BF16 下，2B 级约 5.4GB、4B 级约 10.3GB、9B 级约 18.8GB；最大上下文可达 262,144 token 量级，这决定了单次可编码的文档长度上限。

四、工作原理：从输入到向量的流程

示意性伪代码如下，体现“继承主干 + 追加池化”的通用思路：

class EmbeddingModel(GenerativeModel):
    def embedding(self, input_ids, attention_mask, pixel_values=None):
        hidden = self.backbone(input_ids, attention_mask, pixel_values)  # [B, L, H]
        last_idx = attention_mask.sum(dim=-1) - 1                        # 最后一个有效 token
        vec = hidden[torch.arange(hidden.size(0)), last_idx]             # [B, H]
        return torch.nn.functional.normalize(vec, p=2, dim=-1)

流程可归纳为四步：输入编码 → 主干前向 → 末位有效 token 池化 → 归一化输出。其中“取最后一个有效 token”是一种因果注意力下的合理选择，因为该位置已聚合了前文全部信息；对 padded 序列必须用 attention mask 定位真实末位，否则会取到填充位，导致向量失真。

五、典型场景

• 检索增强生成（RAG）：把知识库文档向量化入库，查询时先近邻召回再交给生成模型，降低幻觉。
• 跨模态搜索：以文搜图、以图搜文，用于素材库、商品库、内容平台。
• 聚类与去重：对海量文本或图文做语义聚类、近重复检测。
• 分类与打标：以向量作为特征输入轻量分类器，减少标注成本。
• 推荐与召回：把用户与物品映射到同一空间做粗排召回。

六、与相关概念的区别

• 与生成式大模型：同一主干，两种用法。生成模型输出 token 序列，嵌入模型输出单向量；前者重推理与交互，后者重表示与比较。
• 与双塔检索模型：传统双塔多为专用小模型、分别编码查询与文档；继承式大模型嵌入通常是单塔共享主干，语义能力更强但推理成本更高。
• 与重排模型（Reranker）：重排对“查询-文档对”做精细打分，精度高但需逐对计算；嵌入模型先做粗召回，二者常组合使用。

七、使用注意事项

1. 池化策略要与训练一致：推理端的池化方式必须匹配训练时的定义，否则向量分布漂移。
2. 归一化与相似度度量配套：归一化后用余弦或内积，避免混用未归一化向量。
3. 上下文长度与截断：长文档需分段编码再聚合，注意分段边界对语义完整性的影响。
4. 向量维度与存储成本：高维精度好但存储与检索开销大，可按需截断维度。
5. 领域适配：通用嵌入在垂直领域可能不足，需评估是否做微调或加入领域数据。
6. 版本一致性：入库与查询必须使用同一模型版本与同一预处理流程，模型升级需重建索引。
7. 成本与延迟权衡：9B 级模型表达力强，但向量化吞吐与显存占用显著高于小模型，应按召回质量需求分层选型。

八、总结

多模态嵌入模型是把大模型主干改造为向量编码器的技术路线：它复用预训练语义知识，通过末位有效 token 池化与归一化输出固定维度向量，实现文本与图像的统一语义比较。其能力边界由主干规模、视觉编码器、上下文长度与向量维度共同决定，而真正的差异化往往来自数据构造与训练策略，而非那几百行改造代码。选型时应围绕召回质量、存储成本、推理延迟三者做平衡，并严格保证训练与推理的池化、归一化、版本一致性。