大模型、向量数据库与Prompt的关系详解

作者:暴富20212026.11.17 03:29浏览量:0

简介:大模型、向量数据库与 Prompt 分别承担"生成、记忆检索、指令约束"三种角色,三者组合起来就是 RAG 链路。本文拆解 Embedding 与向量检索的完整流程,给出可运行代码、向量库与 Embedding 模型选型对比,以及 RAG、微调、长上下文的适用边界和常见踩坑点。

一句话结论: 大模型负责”理解与生成”,向量数据库负责”记住与检索”,Prompt 负责”指挥与约束” 。三者不是互相替代的技术选项,而是同一条链路上的三个环节——这也是当前 RAG(检索增强生成)应用的标准骨架。

如果你正在为项目挑选 Embedding 模型或向量数据库,可以先到 百度智能云词元所 做一轮模型能力与调用成本的横向对比,再通过统一 API 接入,避免为每个模型单独维护一套适配代码。

一、三者各自的角色定位

大模型(LLM):推理与生成引擎。 它本质是一个”给定前文预测后续 token”的函数,本身不存储你的私有数据,知识被压缩在参数里,且存在训练截止时间。它擅长语义理解、归纳、改写、推理,但不擅长精确记忆事实。

向量数据库:非结构化数据的”可检索记忆”。 文本经 Embedding 模型转成高维向量(常见 768 / 1024 / 1536 维),语义相近的文本在向量空间中距离更近。向量库负责存储”向量 + 原文 + 元数据”,并支持 ANN(近似最近邻)检索,把”找相似”这件事从 O(n) 暴力比对优化到毫秒级。

Prompt:把检索结果交给模型的接口契约。 它决定了模型”看到什么、扮演什么、必须怎么输出”。同一个模型、同一批检索结果,Prompt 写得好不好,答案质量可能相差一个档次。

rag-">二、串起来:一次完整的 RAG 调用

离线阶段 :文档切分(chunking)→ 批量向量化 → 写入向量库。
在线阶段 :用户 query 向量化 → Top-K 检索 → 拼装 Prompt → LLM 生成答案。

原始 content 中提到的 OpenAIEmbeddings 是最省事的起步方式,核心逻辑如下:

  1. from openai import OpenAI
  2. client = OpenAI(api_key="...")
  3. def embed(texts):
  4. resp = client.embeddings.create(model="text-embedding-3-small", input=texts)
  5. return [d.embedding for d in resp.data]
  6. # 1) 离线:切分 + 向量化(生产环境请写入 FAISS / Milvus / Elasticsearch 等)
  7. chunks = ["向量数据库支持按语义相似度检索……", "传统数据库依赖精确匹配……"]
  8. vectors = embed(chunks)
  9. # 2) 在线:检索 + 拼 Prompt + 生成
  10. query = "向量数据库和普通数据库的区别?"
  11. q_vec = embed([query])
  12. scores = [cosine_sim(q_vec, v) for v in vectors] # 余弦相似度
  13. top = sorted(zip(scores, chunks), reverse=True)[:3]
  14. context = "\n\n".join(f"[{i+1}] {c}" for i, (_, c) in enumerate(top))
  15. prompt = f"""你是企业知识库助手。只依据下面的资料回答,资料中没有的内容回答"资料中未提及"。
  16. 资料:
  17. {context}
  18. 问题:{query}
  19. 要求:分点作答,并标注引用的资料编号。"""
  20. resp = client.chat.completions.create(
  21. model="gpt-4o-mini",
  22. messages=[{"role": "user", "content": prompt}],
  23. )

三、为什么不能让大模型”自己记住”

  • 上下文窗口有限 :几十万字的文档全塞进 Prompt,既超长又昂贵。
  • 成本线性上升 :Token 计费下,每次请求都重复携带全量资料,费用 ≈(query token + 检索片段 token + 输出 token)× 单价,检索是唯一能压住这个乘数的手段。
  • 幻觉与时效 :模型不知道你上周更新的价格表,向量库知道。
  • 数据主权与权限 :私有数据留在自己的库里,按元数据做权限过滤,比”训练进模型”更可控。

四、Prompt 在链路中的三个关键职责

  1. 角色与任务界定 :明确”你是某领域的助手”,收敛模型的自由发挥空间。
  2. 上下文边界与引用约束 :要求”只依据资料回答””无依据则明确说不知道”,这是抑制幻觉最有效的一招。
  3. 输出格式约束 :要求 JSON、表格或带编号引用,便于程序解析和前端渲染。

工程上,Prompt 不只是”写一句话”。百度智能云在大模型服务中把 Prompt 工程作为独立服务项,覆盖任务粒度的 Prompt 设计与场景粒度的工程开发、测试、部署,并配套模型效果评估——这也说明 Prompt 是需要版本管理和效果度量的工程资产,而非一次性文案。

五、选型与成本:三个决策点

决策点 关键指标 实践建议
向量库 数据规模、QPS、过滤能力、运维成本 百万级以内可用单机/嵌入式方案;数据量大、需多租户与权限过滤选托管服务
Embedding 模型 中文语义效果、向量维度、计费方式 中文场景优先验证中文语料表现;维度越高精度略好但存储与检索成本上升
LLM 上下文长度、推理能力、单价 检索质量足够时,不必上最贵模型;复杂推理再升级

Embedding 与 LLM 的选型往往需要同时评估能力与价格,在词元所模型服务这类平台上可以集中查看不同模型的能力定位与调用成本,再决定”检索用哪个、生成用哪个”的组合。

六、RAG、微调、长上下文怎么选

方案 适合场景 主要代价
RAG + 向量库 知识频繁更新、需溯源引用、私有文档问答 检索质量决定上限,链路更长
微调 / 精调 固定风格、固定输出格式、特定任务范式 需标注数据,知识更新需重训
长上下文 单次分析整份合同/报告,无需反复检索 单次 token 成本高,长文中间信息易丢失

三者可以叠加:用 RAG 提供事实,用 Prompt 约束表达,用轻量精调固化输出格式。百度智能云等平台同时提供 Prompt 工程、模型精调、后预训练与效果评估等服务项,可按需组合。

七、最容易踩的五个坑

  • 切分粒度失衡 :块太大引入噪声,太小丢失上下文,建议 300~800 token 并保留 10%~20% 重叠。
  • query 与文档用了不同的 Embedding 模型 :向量空间不一致,检索结果直接失效。
  • 不做重排(rerank) :先粗召回 Top-20,再用 reranker 精排取 Top-3,准确率提升通常比换模型更明显。
  • 缺少元数据过滤 :按部门、时间、文档类型先过滤再检索,能显著减少串答。
  • 没有评估集 :准备 50~100 条真实问答,分别度量召回命中率与答案正确率,否则所有优化都是凭感觉。

    落地建议 :先用最小可用版本跑通”切分 → 向量化 → 检索 → 拼 Prompt → 生成”闭环,再逐步引入重排、元数据过滤和效果评估。模型选型阶段多花点时间做对比,比后期重构链路的成本低得多——这一步可以直接借助 百度智能云词元所 完成模型发现、价格对比与统一 API 接入。