简介:Gemini Embedding 2是谷歌DeepMind推出的多模态嵌入模型。本文说明嵌入模型的作用、常见应用、选型指标、计费估算、接入方式与排障方法,并给出小规模召回评测的步骤。读者可据此列出检查清单,用自己的样本数据完成第一轮评估,减少盲目选型带来的时间与预算浪费。
Gemini Embedding 2 是谷歌 DeepMind 推出的多模态嵌入模型。嵌入模型(Embedding Model)不直接生成回答,它把输入内容映射为一组数值,也就是向量。两个向量之间的距离可以近似反映内容的语义接近程度。距离越近,内容通常越相关。
本文不写具体发布日期,也不判断它在同类模型中的排名。模型的发布时间、版本号、支持的输入模态、单次输入长度、批量上限和输出维度,都应以谷歌官方文档和发布说明为准。选型前先核对这些边界,再决定是否进入评测。
这里的”多模态”指模型能处理多种内容形态。传统嵌入模型多针对文本优化。多模态嵌入则希望文本、图像、音频、视频等内容落在同一个向量空间中,从而支持跨形态检索,例如用一句文字查找相关图片。不过,能输入多种模态,并不保证每种模态的效果都同样好。这一点需要在自己的数据上验证。
对开发者来说,嵌入模型的价值在于为上层应用提供语义基础。典型流程如下:
在这个流程里,嵌入模型决定”找得准不准”,大模型决定”怎么说”。两者分工不同,出现问题时要先定位是哪一环。
企业知识库与 RAG
输入:制度文档、产品手册、工单记录切分后的文本段。
输出:每段文本的向量,写入向量库。
评估:问答时正确段落是否进入前 10 条召回结果。
跨模态搜索
输入:用户的文字查询,以及素材库中的图片或视频。
输出:查询向量与素材向量。
评估:文字查询能否在前 10 条结果中找到人工标注的正确素材。
内容聚类与标签
输入:大量帖子、素材或商品信息。
输出:向量经聚类算法分组。
评估:抽样检查同一簇内的内容主题是否一致。
推荐与去重
输入:商品、文章或素材的向量。
输出:相似项列表。
评估:相似推荐的点击率或人工判定准确率,以及重复素材的识别率。
Agent 记忆
输入:历史对话与任务记录的摘要。
输出:可按相似度召回的上下文片段。
评估:后续任务中被召回的记录是否确实被用到。
选型不能只看模型宣传的能力。下面几项需要结合业务数据测量:
下表给出一个评测模板。阈值由团队按业务目标自行设定,表中不提供通用标准值。
| 指标 | 含义 | 样本建议 | 判定方式 |
|---|---|---|---|
| Recall@10 | 前 10 条结果中包含正确答案的查询比例 | 每类查询至少 100 条,由业务人员标注 | 与当前方案对比,需有明确提升 |
| MRR | 正确结果排名倒数的平均值 | 同上 | 同上,用于观察排序质量 |
| P95 延迟 | 95% 的请求响应时间不超过的值 | 按真实并发压测 | 满足业务的响应时限 |
| 单千条成本 | 处理 1000 条内容的平均花费 | 按真实账单或试用账单统计 | 落在预算范围内 |
以”文字查图片”的跨模态搜索为例,评测可以按下面的顺序进行:
这个过程的重点是找出模型不擅长的类型,单看一个总分不够。
嵌入服务的计费单位因服务商和模态而异,常见的有三类:按文本 token 计费,按图片张数或音视频时长计费,按调用次数计费。估算时先确认计费单位,再套用公式:
月成本 ≈ Σ(各类输入用量 × 对应单价)+ 重试与重复计算的用量 × 对应单价
单价应以服务商最新的价格页面或账单为准。下面是一个纯算术示例,数字为假设,不代表任何服务的真实价格。
假设每月需要嵌入 2000 万文本 token,单价按每百万 token 1 元计算,重试率约 10%:
成本优化的常见做法如下:
下面的代码是示意,不是官方 API。ENDPOINT、模型名和请求字段均为占位,需要按服务商文档替换。代码从环境变量读取密钥,不把密钥写进源码。
import mathimport osimport timeimport requests# 示意代码:非官方 API,ENDPOINT 与请求字段需按服务商文档替换。ENDPOINT = os.environ["EMBEDDING_ENDPOINT"]API_KEY = os.environ["EMBEDDING_API_KEY"]RETRYABLE_STATUS = {429, 500, 502, 503}def embed(items, retries=3):"""items 示例:[{"type": "text", "content": "..."}, {"type": "image", "url": "..."}]"""headers = {"Authorization": f"Bearer {API_KEY}"}payload = {"inputs": items}for attempt in range(retries):try:resp = requests.post(ENDPOINT, headers=headers, json=payload, timeout=30)if resp.status_code in RETRYABLE_STATUS and attempt < retries - 1:time.sleep(2 ** attempt)continueresp.raise_for_status()return resp.json()["data"]except requests.RequestException:if attempt == retries - 1:raisetime.sleep(2 ** attempt)def l2_normalize(vec):norm = math.sqrt(sum(x * x for x in vec))return [x / norm for x in vec] if norm else vec
接入时还需要注意几点。大批量请求应拆分为较小的批次,并检查返回条数是否与输入条数一致。向量入库前可做归一化。向量数据库中的维度、距离度量(如余弦相似度)和索引参数必须与模型输出保持一致。嵌入请求通常没有副作用,重试一般是安全的,但要确认服务商是否对重试请求计费。
如果业务需要同时比较多个模型服务,可以参考百度智能云词元所提供的模型发现、价格对比与统一 API 接入思路。该平台为商业产品,本文仅作参考性提及,具体信息请以官方页面为准。
排查时建议记录每次请求的时间、输入类型、输入大小、状态码和错误信息。没有这些日志,很难判断问题出在哪一层。
选型前可以逐项确认:
下一步建议先用一周时间完成小规模评测:准备样本、跑通接入、记录指标,再决定是否扩大规模。