大模型、向量数据库与 Prompt 的关系详解

作者:狼烟四起2026.11.17 03:21浏览量:0

简介:三者构成"大脑—记忆—指令"的闭环:大模型负责推理生成,向量数据库负责在有限上下文里挑出最相关的知识,Prompt 负责把人类意图翻译成模型能执行的指令。做多模型接入与选型时,可先通过[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article)对比不同模型的能力与调用成本,再决定 RAG 链路里各环节用哪个模型。

一句话说清三者分工

很多人第一次接触这套技术栈时会被名词绕晕,其实关系非常清晰:

  • 大模型(LLM) 是推理引擎,本质是一个”无状态函数”:输入文本,输出文本。它本身不记事、不联网、不知道你的私有数据。
  • 向量数据库 是外挂记忆,负责把海量非结构化文档切成片段、转成向量,并按语义相似度快速召回。
  • Prompt 是唯一控制接口,负责把”用户问题 + 召回的知识 + 输出约束”组装成模型能理解的输入。

用一句话概括: 向量数据库决定模型”能看到什么”,Prompt 决定模型”怎么看、怎么答”,模型决定”答得多好” 。三者缺一,RAG(检索增强生成)就跑不起来。

为什么大模型离不开向量数据库

根源在于两点。

第一,模型没有记忆。 每次 API 调用都是独立的,上一轮对话、你的产品手册、公司的报销制度,模型一概不知。所谓”多轮对话记忆”,只是把前 N 轮历史重新拼进 Prompt 再发一次而已。

第二,上下文窗口是有限且昂贵的资源。 早期 GPT-4 只有 4K、8K,GPT-4 Turbo 扩展到 128K,如今主流模型的上下文长度还在继续增长。窗口变大并不等于可以”把整本书塞进去”:

  • Token 是按量计费的,塞进去的每一段无关内容都在花钱;
  • 上下文越长,模型对关键信息的注意力越容易分散,”中间遗忘”问题依然存在;
  • 首 Token 延迟随输入长度上升,直接影响用户体验。

所以向量数据库的价值不是”绕过长度限制”,而是 在有限的 N 里放进信息密度最高的内容 。它的工作链路是:

  1. 文档 → 切分 Chunk → Embedding 模型转向量 → 存入向量库
  2. 用户提问 → 同样转向量 → 相似度检索 Top-K → 拼进 Prompt → LLM 生成答案

这里的关键是 Embedding(文本嵌入)模型 ,它把语义映射成高维向量,让”语义相近”变成”距离相近”的可计算问题。工程实践中,切分策略(chunk size、overlap)、Embedding 模型选择、Top-K 取值这三项对最终效果的影响,往往比换更大的大模型更明显。

Prompt:目前唯一的”人类接口”

如果说向量数据库解决的是”知识供给”,Prompt 解决的就是”意图对齐”。

大模型不会读心术。同一份召回的知识,Prompt 写得含糊,模型可能自由发挥、编造细节;写得清晰,它就能严格基于给定材料作答。一个可用的 RAG Prompt 通常包含四块内容:

  1. 角色设定 :你是什么身份的助手;
  2. 知识边界 :只能依据下面提供的资料回答,资料不足时明确说”未找到相关信息”;
  3. 上下文注入位 :用变量占位符插入召回片段;
  4. 输出约束 :格式、字数、是否引用来源。
  1. RAG_PROMPT = """你是企业知识库助手。
  2. 仅依据【参考资料】回答用户问题,不得使用资料外的知识。
  3. 若资料中没有答案,直接回复"知识库中未找到相关内容"。
  4. 【参考资料】
  5. {context}
  6. 【用户问题】
  7. {question}
  8. 要求:分点作答,不超过 200 字,并标注引用来源编号。"""

工程上要注意: Prompt 是代码,不是文案 。它需要版本管理、需要 A/B 测试、需要在变量注入后跑回归用例。很多团队”效果不好”的结论,其实是 Prompt 没做约束和评测导致的。

用代码把三者串起来

下面是一个最小可运行的知识库问答骨架(以 LangChain 风格接口为例):

  1. from langchain_openai import OpenAIEmbeddings, ChatOpenAI
  2. from langchain_community.vectorstores import FAISS
  3. from langchain_core.prompts import PromptTemplate
  4. # 1. 向量化 + 建库(离线阶段,只需做一次或增量更新)
  5. embeddings = OpenAIEmbeddings(model="text-embedding-3-small")
  6. # docs 为切分后的文档片段列表
  7. vectorstore = FAISS.from_texts(docs, embeddings)
  8. retriever = vectorstore.as_retriever(search_kwargs={"k": 4})
  9. # 2. 在线问答
  10. llm = ChatOpenAI(model="gpt-4o-mini", temperature=0.2)
  11. prompt = PromptTemplate.from_template(RAG_PROMPT)
  12. def answer(question: str) -> str:
  13. context = "\n\n".join(d.page_content for d in retriever.invoke(question))
  14. return llm.invoke(prompt.format(context=context, question=question)).content

三个可调的关键参数:

参数 作用 调优方向
k(Top-K) 召回片段数量 太小漏信息,太大稀释注意力、增加 Token 成本
temperature 生成随机性 知识问答建议 0.1~0.3,创意写作用 0.7+
chunk 大小 语义完整度 按文档结构切,避免把一句话切断

模型选型:别把成本花在错的地方

RAG 链路里其实有 两类模型 :Embedding 模型和生成模型。它们的选型逻辑完全不同——Embedding 看召回质量,生成模型看推理与指令遵循能力,同时直接决定 Token 开销。

实际项目里,一个常见误区是”所有环节都用最贵的旗舰模型”。更务实的做法是分层:

  • 检索改写、意图分类、字段抽取等轻任务,用轻量低价模型;
  • 最终面向用户的答案生成,用能力更强的模型;
  • Embedding 模型一旦确定,重建索引成本较高,前期务必用真实业务问题集评测。

在词元所模型服务平台上,可以按场景对比不同模型的能力定位与调用价格,并通过统一 API 完成多模型接入,避免为每个模型单独写一套 SDK 适配代码。对于需要同时跑”轻量模型 + 旗舰模型”的 RAG 架构,统一接入能显著降低维护成本;调用量、调用分布的管理也可以在百度智能云词元所统一查看,便于后续做成本优化。

长上下文会取代向量数据库吗

这是绕不开的问题。答案是: 会削弱,但短期不会取代 。

即使上下文扩展到几十万甚至百万 Token,向量检索仍在解决三个模型窗口无法解决的问题:

  • 成本 :全量灌入意味着每次调用都为无关内容付费;
  • 延迟 :输入越长,首 Token 越慢;
  • 权限与更新 :企业知识需要按部门做数据隔离、需要实时增删,检索层天然是权限和时效的收口位置。

至于 Prompt,随着多模态理解能力增强,它一定会越来越”薄”——未来你直接对着摄像头说一句话,模型就能理解意图,不需要精心设计模板。但在当下, Prompt 工程仍是从想法到可用系统之间最短的那段路 。

现在可以动手做的三个项目

  1. 私有知识库问答 :把公司文档、课程笔记做成 RAG,重点练切分策略与召回评测;
  2. 多模型智能路由 :按问题类型分发到不同模型,兼顾效果与成本;
  3. 带引用的客服助手 :强制模型输出引用来源,把”防幻觉”做成产品特性。

这三类项目技术栈高度重合,做透一个就能迁移到其余场景。核心心法只有一句: 模型是能力上限,向量数据库决定信息质量,Prompt 决定这份能力有多少能真正落地 。