简介:本文梳理Gemini Embedding的向量化原理、RAG与语义搜索等典型用途,比较纯文本与多模态嵌入的选型差异,并给出接入前置条件、示例代码、评测指标和成本优化方法。读完后,你可以判断自己的业务适合哪类嵌入模型,并避开常见的接入与成本陷阱。
文本嵌入模型把文本转换为高维向量,语义相近的内容在向量空间中距离更近。因此,它能支持语义检索、文本聚类、分类和排序,而不只依赖关键词是否完全一致。例如,用户搜索”怎么申请退款”时,系统可以召回标题为”售后退货流程说明”的文档,即使两者没有共同的关键词。
在企业知识库中,常见流程分为离线和在线两步。离线阶段,系统把制度文档、产品手册和客服FAQ切分成片段,调用嵌入模型生成向量,再写入向量数据库。在线阶段,系统把用户问题转换为向量,按相似度取出Top-K个片段,最后交给生成模型整理答案。在线阶段这一流程正是检索增强生成(RAG)的核心。
Gemini Embedding是谷歌提供的文本嵌入模型,可用于上述检索与分类任务。它的训练方式和性能指标以谷歌官方文档为准,选型前应直接查阅官方资料,而不是只参考第三方总结。
Gemini Embedding 2目前以预览版形式提供。与只处理文本的嵌入模型不同,它把文本、图像、视频、音频和文档映射到同一个向量空间。在这个空间里,一句文字可以用来检索相关图片、视频片段或PDF页面,图文混合输入也能作为一个整体进行编码。
预览期的输入规格可能调整。以下数值仅供初步评估,实际开发前应核对谷歌官方文档:
此外,该模型采用MRL(Matryoshka Representation Learning)技术。默认输出维度较高,据文档介绍可以截取为较低维度,以减少存储和检索开销。截取后需要重新做归一化,下文代码会体现这一步。
接入Gemini API或Vertex AI前,需要完成以下准备:
下面是一个基于Gemini API的示例,展示向量生成、维度截取、归一化和相似度检索。运行前需要替换模型ID,并确认SDK参数名与官方文档一致。
import osimport numpy as npfrom google import genaifrom google.genai import types# 凭证从环境变量读取,不要写入代码client = genai.Client(api_key=os.environ["GEMINI_API_KEY"])MODEL_ID = "替换为官方文档中的嵌入模型ID" # 预览版ID可能变化def embed_texts(texts, dim=None):"""批量生成向量。dim为空时使用默认维度。"""config = Noneif dim is not None:config = types.EmbedContentConfig(output_dimensionality=dim)resp = client.models.embed_content(model=MODEL_ID, contents=texts, config=config)vectors = np.array([e.values for e in resp.embeddings], dtype=np.float32)# 截取维度后必须重新归一化,否则余弦相似度会失真norms = np.linalg.norm(vectors, axis=1, keepdims=True)return vectors / np.clip(norms, 1e-12, None)docs = ["产品售后服务政策","企业采购流程说明","API 接入常见问题",]doc_vecs = embed_texts(docs)query_vec = embed_texts(["如何申请售后退款?"])[0]# 向量已归一化,点积即余弦相似度scores = doc_vecs @ query_vectop_k = sorted(zip(docs, scores), key=lambda x: x[1], reverse=True)[:3]for doc, score in top_k:print(f"{score:.4f} {doc}")
上面的代码省略了几个生产环境必须处理的问题。第一,批量请求要控制单批条数,避免超出请求大小限制。第二,遇到限流或临时错误时,应使用指数退避重试,并记录失败样本。第三,检索场景中,查询和文档可以通过任务类型参数加以区分,具体取值见官方文档。
选型时不能只看模型名称,而要结合输入类型、评测指标和成本结构综合判断。
| 评估维度 | 纯文本嵌入 | 多模态嵌入 |
|---|---|---|
| 输入类型 | 文本 | 文本、图像、视频、音频、文档 |
| 适用场景 | 文档检索、客服问答、文本聚类 | 跨模态搜索、媒体资产管理、图文混合RAG |
| 接入复杂度 | 相对较低 | 需要处理图片转码、视频截取、PDF解析等预处理 |
| 核心评测指标 | Recall@K、MRR、NDCG | 跨模态Recall@K、人工相关性评分 |
| 成本关注点 | Token消耗、向量存储 | 多模态输入计费、向量维度、存储与检索成本 |
如果业务主要是中文文档问答、工单分类或商品文本检索,可以优先评估文本嵌入模型。如果涉及图片、视频、音频或PDF的统一检索,则更适合评估Gemini Embedding 2这类多模态模型。
在正式选型前,应建立一个小规模的业务评测集,覆盖真实查询和标注好的相关文档。然后,对候选模型比较以下指标:
在成本与性能优化方面,可以从以下几点入手:
嵌入模型并不是孤立的组件。数据清洗、检索策略和生成流程同样影响最终效果,应一起优化。
Gemini Embedding可以把文本转化为可计算的语义向量,支持搜索、推荐、聚类和RAG应用。