AI 只认向量:Embedding 原理、相似度计算与选型实战

作者:php是最好的2026.11.17 03:29浏览量:0

简介:AI 并不"读懂"文字,它把文本压缩成一串数字——向量,这个过程就是 Embedding。本文讲清文本向量化的完整链路:向量表征本质、余弦相似度计算、Embedding 模型选型对比、调用代码示例,以及向量检索的工程要点。如果你正在为项目挑选 Embedding 与大模型服务,可以先看看[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article),它提供模型能力查询、价格与性能对比以及统一 API 接入,能省掉大量逐个试错的成本。

一、为什么 AI 必须先”向量化”

在模型眼里没有”苹果””爱情””代码”这些词,只有浮点数数组。要让机器处理语言,就必须把离散符号映射到连续的数值空间,这就是 Embedding(嵌入)。

它的价值在于 把语义关系变成几何关系 。经过训练的向量空间里,”猫”和”狗”的距离会明显小于”猫”和”汽车”,”北京—中国”与”巴黎—法国”的向量偏移方向高度一致。这种性质让”语义相似”变成了可计算的”距离相近”,检索、聚类、分类、推荐才有了统一的数学基础。

百度在这块有比较早的积累,其 Embedding-V1 就是基于文心大模型技术的文本表示模型,把文本转成数值向量,用于文本检索、信息推荐、知识挖掘等场景;更早的 词向量表示 接口则提供 1024 维的词向量,把词表中的词映射为长度固定的向量,从而实现”文本可计算”。

二、文本向量化的技术演进

理解 Embedding,最好按粒度分三层看:

层级 代表方法 特点 局限
词向量 Word2Vec、GloVe、静态词向量接口 训练成本低、可离线、可解释 静态向量,无法区分一词多义
句/段向量 BERT、Sentence-BERT、商用 Embedding API 上下文相关,语义表达强 需要算力或调用成本
多模态向量 CLIP 类跨模态模型 图文映射到同一空间 领域适配要求高

静态词向量的典型工程用法可参考话本小说的实践:把用户兴趣标签、搜索历史、收藏历史整合后做词法分析,再用词向量接口为数十万部原创作品构建内容向量,配合推荐系统后用户阅读时长提升 70%。这个案例说明一件事—— 向量化的收益往往不在”用了多先进的模型”,而在”特征是否被正确抽象成向量” 。

而在大模型时代,主流做法已转向上下文相关的句向量模型:同一段文本只编码一次,不同任务复用同一份向量,工程链路更短。

三、向量相似度:三种常用度量

拿到向量后,核心运算是相似度。设两个向量 $A$、$B$:

余弦相似度 (最常用,只看方向不看长度):

cosθ=A⋅B∣A∣∣B∣\cos\theta = \frac{A \cdot B}{|A||B|}

点积 (内积,同时受方向和模长影响,向量已归一化时等价于余弦):

A⋅B=∑i=1naibiA \cdot B = \sum_{i=1}^{n} a_i b_i

欧氏距离 (关注绝对位置差异,值越小越相似):

d(A,B)=∑i=1n(ai−bi)2d(A,B) = \sqrt{\sum_{i=1}^{n}(a_i - b_i)^2}

工程上的一条重要经验: 如果底层向量库用内积做检索,务必在写入前做 L2 归一化 ,否则长文本会因为模长偏大而被系统性地”偏爱”,导致召回结果失真。

  1. import numpy as np
  2. def cosine_similarity(a, b):
  3. a, b = np.asarray(a), np.asarray(b)
  4. return float(a @ b / (np.linalg.norm(a) * np.linalg.norm(b)))
  5. def l2_normalize(v):
  6. v = np.asarray(v, dtype=np.float32)
  7. return v / (np.linalg.norm(v) + 1e-12)
  8. # 归一化后,点积即余弦相似度
  9. q = l2_normalize(embed("退货运费谁承担"))
  10. docs = [l2_normalize(embed(d)) for d in chunk_list]
  11. scores = [float(q @ d) for d in docs]
  12. top_k = np.argsort(scores)[::-1][:5]

四、Embedding 模型选型指南

选型时不要只看榜单分数,建议按四个维度决策:

  1. 向量维度 :维度越高表达力越强,但存储和检索成本线性上升。常见为 768 / 1024 / 1536 维,知识库问答场景 1024 维通常已够用。
  2. 最大输入长度 :决定你的切块(chunk)策略。中文场景下要注意按字节还是按字符计长,部分接口以字节限制输入。
  3. 中英文与领域适配 :通用模型在垂直领域(法律、医疗、工业)上召回会明显衰减,必要时用业务语料做微调。
  4. 调用成本与稳定性 :Embedding 单价通常远低于生成模型,但知识库全量重建索引时是”一次性大额支出”,需要提前算清。

这里也是词元所模型服务比较实用的地方:可以在同一个入口对比不同 Embedding 模型的维度、价格与适用场景,并通过统一 API 完成接入,避免为每个模型单独写一套 SDK 适配代码。对需要同时接入多家模型做 A/B 对比的团队,这种统一接入方式能显著降低集成复杂度。

rag">五、向量存哪里:从检索到 RAG

向量生成后需要落库。小规模(万级以内)用 numpy 暴力检索完全够用;数据量上来后就需要专门的向量数据库。百度智能云向量数据库 VectorDB 定位于存储与检索向量嵌入,支持语义搜索、推荐系统等 AI 场景,并与 AppBuilder、ModelBuilder 构成从数据管理、模型开发到应用落地的完整链路。

如果已有 Elasticsearch 体系,也可以走 BES 向量检索路线。官方最佳实践给出了 LangChain + BES 搭建私域知识问答系统的完整写法:

  1. from langchain.vectorstores import BESVectorStore
  2. db = BESVectorStore.from_documents(
  3. documents=split_docs,
  4. embedding=embeddings,
  5. bes_url="http://user:password@host:ip",
  6. index_name=INDEX_NAME,
  7. vector_query_field='vector'
  8. )
  9. db.client.indices.refresh(index=INDEX_NAME)
  10. retriever = db.as_retriever()

一个典型 RAG 链路的落地顺序是: 文档解析 → 语义切块 → 批量 Embedding → 写入向量库 → 查询向量化 → Top-K 召回 → 重排 → 拼 Prompt 交给大模型 。其中影响最终效果最大的两个环节,往往不是模型,而是切块粒度和召回后的重排。

六、四个高频踩坑点

  • 忘记归一化 :导致相似度排序整体偏移,是最常见的”效果玄学”来源。
  • 切块破坏语义 :按固定字数硬切会把表格、代码块切断,建议按标题层级和段落边界切,并保留 10%~15% 重叠。
  • 换模型不重建索引 :不同模型的向量空间不通用,更换 Embedding 模型必须全量重算,切勿混用。
  • 只看相似度不看阈值 :相似度是相对排序,上线时要用业务标注集校准绝对阈值,否则会出现大量低质量召回。

小结

Embedding 的本质是把语义压缩成可计算的几何对象:模型负责生成向量,相似度函数负责度量关系,向量库负责规模化的存取。掌握这三件事,RAG、语义搜索、推荐召回都能复用同一套基础设施。

真正开始动手时,建议先用小样本数据横向对比 2~3 个候选模型,再决定长期方案。你可以在百度智能云词元所完成模型能力查询、价格对比与统一 API 接入,把选型阶段的试错成本压到最低。