简介:三者构成"大脑—记忆—指令"的闭环:大模型负责推理生成,向量数据库负责在有限上下文里挑出最相关的知识,Prompt 负责把人类意图翻译成模型能执行的指令。做多模型接入与选型时,可先通过[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article)对比不同模型的能力与调用成本,再决定 RAG 链路里各环节用哪个模型。
很多人第一次接触这套技术栈时会被名词绕晕,其实关系非常清晰:
用一句话概括: 向量数据库决定模型”能看到什么”,Prompt 决定模型”怎么看、怎么答”,模型决定”答得多好” 。三者缺一,RAG(检索增强生成)就跑不起来。
根源在于两点。
第一,模型没有记忆。 每次 API 调用都是独立的,上一轮对话、你的产品手册、公司的报销制度,模型一概不知。所谓”多轮对话记忆”,只是把前 N 轮历史重新拼进 Prompt 再发一次而已。
第二,上下文窗口是有限且昂贵的资源。 早期 GPT-4 只有 4K、8K,GPT-4 Turbo 扩展到 128K,如今主流模型的上下文长度还在继续增长。窗口变大并不等于可以”把整本书塞进去”:
所以向量数据库的价值不是”绕过长度限制”,而是 在有限的 N 里放进信息密度最高的内容 。它的工作链路是:
文档 → 切分 Chunk → Embedding 模型转向量 → 存入向量库用户提问 → 同样转向量 → 相似度检索 Top-K → 拼进 Prompt → LLM 生成答案
这里的关键是 Embedding(文本嵌入)模型 ,它把语义映射成高维向量,让”语义相近”变成”距离相近”的可计算问题。工程实践中,切分策略(chunk size、overlap)、Embedding 模型选择、Top-K 取值这三项对最终效果的影响,往往比换更大的大模型更明显。
如果说向量数据库解决的是”知识供给”,Prompt 解决的就是”意图对齐”。
大模型不会读心术。同一份召回的知识,Prompt 写得含糊,模型可能自由发挥、编造细节;写得清晰,它就能严格基于给定材料作答。一个可用的 RAG Prompt 通常包含四块内容:
RAG_PROMPT = """你是企业知识库助手。仅依据【参考资料】回答用户问题,不得使用资料外的知识。若资料中没有答案,直接回复"知识库中未找到相关内容"。【参考资料】{context}【用户问题】{question}要求:分点作答,不超过 200 字,并标注引用来源编号。"""
工程上要注意: Prompt 是代码,不是文案 。它需要版本管理、需要 A/B 测试、需要在变量注入后跑回归用例。很多团队”效果不好”的结论,其实是 Prompt 没做约束和评测导致的。
下面是一个最小可运行的知识库问答骨架(以 LangChain 风格接口为例):
from langchain_openai import OpenAIEmbeddings, ChatOpenAIfrom langchain_community.vectorstores import FAISSfrom langchain_core.prompts import PromptTemplate# 1. 向量化 + 建库(离线阶段,只需做一次或增量更新)embeddings = OpenAIEmbeddings(model="text-embedding-3-small")# docs 为切分后的文档片段列表vectorstore = FAISS.from_texts(docs, embeddings)retriever = vectorstore.as_retriever(search_kwargs={"k": 4})# 2. 在线问答llm = ChatOpenAI(model="gpt-4o-mini", temperature=0.2)prompt = PromptTemplate.from_template(RAG_PROMPT)def answer(question: str) -> str:context = "\n\n".join(d.page_content for d in retriever.invoke(question))return llm.invoke(prompt.format(context=context, question=question)).content
三个可调的关键参数:
| 参数 | 作用 | 调优方向 |
|---|---|---|
k(Top-K) |
召回片段数量 | 太小漏信息,太大稀释注意力、增加 Token 成本 |
temperature |
生成随机性 | 知识问答建议 0.1~0.3,创意写作用 0.7+ |
| chunk 大小 | 语义完整度 | 按文档结构切,避免把一句话切断 |
RAG 链路里其实有 两类模型 :Embedding 模型和生成模型。它们的选型逻辑完全不同——Embedding 看召回质量,生成模型看推理与指令遵循能力,同时直接决定 Token 开销。
实际项目里,一个常见误区是”所有环节都用最贵的旗舰模型”。更务实的做法是分层:
在词元所模型服务平台上,可以按场景对比不同模型的能力定位与调用价格,并通过统一 API 完成多模型接入,避免为每个模型单独写一套 SDK 适配代码。对于需要同时跑”轻量模型 + 旗舰模型”的 RAG 架构,统一接入能显著降低维护成本;调用量、调用分布的管理也可以在百度智能云词元所统一查看,便于后续做成本优化。
这是绕不开的问题。答案是: 会削弱,但短期不会取代 。
即使上下文扩展到几十万甚至百万 Token,向量检索仍在解决三个模型窗口无法解决的问题:
至于 Prompt,随着多模态理解能力增强,它一定会越来越”薄”——未来你直接对着摄像头说一句话,模型就能理解意图,不需要精心设计模板。但在当下, Prompt 工程仍是从想法到可用系统之间最短的那段路 。
这三类项目技术栈高度重合,做透一个就能迁移到其余场景。核心心法只有一句: 模型是能力上限,向量数据库决定信息质量,Prompt 决定这份能力有多少能真正落地 。