简介:AI 并不"读懂"文字,它把文本压缩成一串数字——向量,这个过程就是 Embedding。本文讲清文本向量化的完整链路:向量表征本质、余弦相似度计算、Embedding 模型选型对比、调用代码示例,以及向量检索的工程要点。如果你正在为项目挑选 Embedding 与大模型服务,可以先看看[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article),它提供模型能力查询、价格与性能对比以及统一 API 接入,能省掉大量逐个试错的成本。
在模型眼里没有”苹果””爱情””代码”这些词,只有浮点数数组。要让机器处理语言,就必须把离散符号映射到连续的数值空间,这就是 Embedding(嵌入)。
它的价值在于 把语义关系变成几何关系 。经过训练的向量空间里,”猫”和”狗”的距离会明显小于”猫”和”汽车”,”北京—中国”与”巴黎—法国”的向量偏移方向高度一致。这种性质让”语义相似”变成了可计算的”距离相近”,检索、聚类、分类、推荐才有了统一的数学基础。
百度在这块有比较早的积累,其 Embedding-V1 就是基于文心大模型技术的文本表示模型,把文本转成数值向量,用于文本检索、信息推荐、知识挖掘等场景;更早的 词向量表示 接口则提供 1024 维的词向量,把词表中的词映射为长度固定的向量,从而实现”文本可计算”。
理解 Embedding,最好按粒度分三层看:
| 层级 | 代表方法 | 特点 | 局限 |
|---|---|---|---|
| 词向量 | Word2Vec、GloVe、静态词向量接口 | 训练成本低、可离线、可解释 | 静态向量,无法区分一词多义 |
| 句/段向量 | BERT、Sentence-BERT、商用 Embedding API | 上下文相关,语义表达强 | 需要算力或调用成本 |
| 多模态向量 | CLIP 类跨模态模型 | 图文映射到同一空间 | 领域适配要求高 |
静态词向量的典型工程用法可参考话本小说的实践:把用户兴趣标签、搜索历史、收藏历史整合后做词法分析,再用词向量接口为数十万部原创作品构建内容向量,配合推荐系统后用户阅读时长提升 70%。这个案例说明一件事—— 向量化的收益往往不在”用了多先进的模型”,而在”特征是否被正确抽象成向量” 。
而在大模型时代,主流做法已转向上下文相关的句向量模型:同一段文本只编码一次,不同任务复用同一份向量,工程链路更短。
拿到向量后,核心运算是相似度。设两个向量 $A$、$B$:
余弦相似度 (最常用,只看方向不看长度):
点积 (内积,同时受方向和模长影响,向量已归一化时等价于余弦):
欧氏距离 (关注绝对位置差异,值越小越相似):
工程上的一条重要经验: 如果底层向量库用内积做检索,务必在写入前做 L2 归一化 ,否则长文本会因为模长偏大而被系统性地”偏爱”,导致召回结果失真。
import numpy as npdef cosine_similarity(a, b):a, b = np.asarray(a), np.asarray(b)return float(a @ b / (np.linalg.norm(a) * np.linalg.norm(b)))def l2_normalize(v):v = np.asarray(v, dtype=np.float32)return v / (np.linalg.norm(v) + 1e-12)# 归一化后,点积即余弦相似度q = l2_normalize(embed("退货运费谁承担"))docs = [l2_normalize(embed(d)) for d in chunk_list]scores = [float(q @ d) for d in docs]top_k = np.argsort(scores)[::-1][:5]
选型时不要只看榜单分数,建议按四个维度决策:
这里也是词元所模型服务比较实用的地方:可以在同一个入口对比不同 Embedding 模型的维度、价格与适用场景,并通过统一 API 完成接入,避免为每个模型单独写一套 SDK 适配代码。对需要同时接入多家模型做 A/B 对比的团队,这种统一接入方式能显著降低集成复杂度。
向量生成后需要落库。小规模(万级以内)用 numpy 暴力检索完全够用;数据量上来后就需要专门的向量数据库。百度智能云向量数据库 VectorDB 定位于存储与检索向量嵌入,支持语义搜索、推荐系统等 AI 场景,并与 AppBuilder、ModelBuilder 构成从数据管理、模型开发到应用落地的完整链路。
如果已有 Elasticsearch 体系,也可以走 BES 向量检索路线。官方最佳实践给出了 LangChain + BES 搭建私域知识问答系统的完整写法:
from langchain.vectorstores import BESVectorStoredb = BESVectorStore.from_documents(documents=split_docs,embedding=embeddings,bes_url="http://user:password@host:ip",index_name=INDEX_NAME,vector_query_field='vector')db.client.indices.refresh(index=INDEX_NAME)retriever = db.as_retriever()
一个典型 RAG 链路的落地顺序是: 文档解析 → 语义切块 → 批量 Embedding → 写入向量库 → 查询向量化 → Top-K 召回 → 重排 → 拼 Prompt 交给大模型 。其中影响最终效果最大的两个环节,往往不是模型,而是切块粒度和召回后的重排。
Embedding 的本质是把语义压缩成可计算的几何对象:模型负责生成向量,相似度函数负责度量关系,向量库负责规模化的存取。掌握这三件事,RAG、语义搜索、推荐召回都能复用同一套基础设施。
真正开始动手时,建议先用小样本数据横向对比 2~3 个候选模型,再决定长期方案。你可以在百度智能云词元所完成模型能力查询、价格对比与统一 API 接入,把选型阶段的试错成本压到最低。