简介:本文讲解如何基于开源大模型搭建一个最小可用的RAG检索增强问答系统,覆盖文档清洗、分块、向量化、存储、检索、提示词组装与结果验证。读者可按步骤完成从知识文档到精准回答的闭环,降低长文本冗余和模型幻觉,并掌握常见排查与优化方法。
本教程要帮助读者完成一个最小可用但结构完整的企业级问答系统雏形:让开源大模型在回答用户问题时,不再只依赖模型自身参数化记忆,而是先检索内部知识库中的相关文档片段,再结合检索结果生成答案。
完成本教程后,你将能够:
本文示例以一个“开发规范文档问答”场景为背景,演示如何把一份结构化的规范文本转化为可检索、可问答的知识库。你可以将同一套思路迁移到产品手册、运维文档、客服知识、内部制度、技术博客等场景。
RAG 适合那些“答案存在于外部资料中,而不是模型预训练知识中”的任务。典型场景包括:
内部规范问答
例如开发规范、代码规范、安全规范、发布流程、故障处理手册等。模型需要回答“某项操作是否允许”“某个步骤应该按什么顺序执行”。
产品文档问答
用户询问某个功能如何配置、某个接口参数是什么、某个问题如何排查。系统需要基于最新文档回答,而不是依赖模型旧知识。
运维手册问答
运维人员询问告警处理、日志排查、扩容步骤、回滚流程等。答案往往分散在多个文档章节中,需要检索后汇总。
客服知识库问答
将业务规则、常见问题、售后流程等资料构建为知识库,通过 RAG 提供统一、可控、可追溯的回答。
企业知识检索辅助
对内部制度、项目文档、会议材料进行检索问答,帮助员工快速定位相关信息。
RAG 的核心价值在于:把“模型会什么”与“模型能查什么”解耦。模型负责理解和生成,知识库负责提供事实依据。
在动手搭建之前,建议先准备以下内容。
你需要准备一份纯文本或可转为纯文本的文档。文档可以是制度、手册、规范、FAQ、产品说明等。
示例文档应具有这些特征:
如果没有结构化文档,也可以先做简单的文本清洗和分段,但效果通常不如结构化文档稳定。
你需要一个可以调用的大模型服务或本地推理服务。该服务需要满足:
本教程不绑定任何具体模型产品,你只需要确保模型具备基本的自然语言理解与生成能力。
文本嵌入模型用于把文本转换为向量。向量可以理解为文本在多维空间中的坐标。语义相近的文本,在向量空间中的距离通常更近。
选择嵌入模型时需要注意:
向量数据库或向量检索服务用于保存文档分块的向量,并支持相似度查询。
你需要具备:
如果没有现成向量数据库,也可以使用支持向量检索的通用数据库、本地向量索引组件或云上向量检索服务。
你需要准备:
注意不要把密钥硬编码在代码或日志中。建议通过环境变量、密钥管理服务或配置中心管理。
一个常见想法是:把需要告诉大模型的文档直接拼接到提示词里,然后一次性提问。这种方式在文档很小时可行,但随着知识量增长,会出现明显问题。
如果每次请求都塞入整篇文档,会消耗大量输入 Token。对于知识库而言,这是不必要且昂贵的。
如果文档中与当前问题无关的内容太多,模型可能会被无关信息干扰,导致回答偏移、重复甚至编造。
研究表明,大模型在处理很长上下文时,可能更容易记住开头和结尾,而对中间部分的信息利用不足。这种现象可以称为“Lost in the Middle”。
因此,更好的策略是:只把与当前问题最相关的少量文本片段传给模型。这正是 RAG 的目标。
RAG 的基本流程可以概括为:
下面按照“离线构建知识库”和“在线问答检索”两个阶段进行说明。
离线阶段的目标是:把原始文档变成可被检索的向量知识库。
首先读取原始文档,将其转换为统一格式的纯文本。
清洗目标包括:
如果文档本身具有较强结构,例如每个条目都以特定符号开头,那么清洗时应尽量保留这些结构标记,因为后续分块可能会依赖它们。
示例处理思路:
输入:一份包含编号和条目的规范文档处理:1. 读取全文2. 去掉重复空白行3. 按结构标记拆分为候选块4. 过滤空块或过短块5. 保留每个块的原始编号和标题信息
分块是 RAG 系统中最关键的设计之一。块太大,检索结果可能不够精准;块太小,上下文可能不完整。
常见分块策略有三种。
按固定字符数或固定 Token 数切分。例如每 500 个字符一个块。
优点:
缺点:
先尝试按段落切分;如果段落太长,再按句子切分;如果句子仍然太长,再按词或符号切分。
优点:
缺点:
根据文档自身结构进行切分,例如:
对于开发规范、运维手册这类文档,结构分块通常比单纯按字符切分更稳定。
如果文档中的每个规则都以类似“【】”这样的标记开头,可以按标记切分。这样可以保证每个规则条目成为一个相对独立的检索单元。
示例伪代码:
def split_by_marker(text, marker="【"):parts = text.split(marker)chunks = []for part in parts:cleaned = clean_text(part)if is_valid_chunk(cleaned):chunks.append(cleaned)return chunks
其中:
clean_text 负责去除多余空白和无效字符;is_valid_chunk 负责过滤空块或过短块;marker 是文档中的结构标记。如果你的文档没有这种明显标记,可以改用“标题 + 正文”的组合分块方式。
只保存文本和向量还不够。生产环境中通常还需要保存元数据,以便后续过滤、追踪和更新。
常见元数据包括:
source:文档来源;version:文档版本;title:文档标题;section:章节或小节;chunk_id:分块编号;created_at:创建时间;updated_at:更新时间;access_level:访问权限级别;tags:标签,例如“安全”“发布”“数据库”。元数据的作用包括:
对每个分块调用嵌入模型,将其转换为向量。
需要注意:
示例流程:
chunks = load_and_split(document)vectors = embed_batch(chunks)for chunk, vector in zip(chunks, vectors):save_to_vector_store(chunk, vector, metadata)
将文本、向量和元数据一起写入向量数据库。
建议每个记录至少包含:
{"id": "唯一编号","text": "分块文本","vector": [0.12, 0.34, 0.56, ...],"source": "文档来源","version": "文档版本","section": "章节或标题","created_at": "创建时间"}
写入时可以设置唯一 ID,便于后续更新和删除。例如,如果某个文档更新了,可以按文档来源或版本删除旧数据,再写入新数据。
在线阶段的目标是:当用户提问时,系统能够快速找到相关文档片段,并生成可靠回答。
用户输入可能包含空格、错别字、口语表达或不完整语义。建议先做简单规范化:
例如,用户问:“这个接口要不要鉴权?”
可以改写为:
接口是否需要鉴权?
查询改写不是必须项,但对于短问题、口语问题、同义词较多的问题很有帮助。
使用与知识库相同的嵌入模型,将用户问题转换为向量。
注意:
使用问题向量进行相似度检索,召回最相关的若干分块。
常见参数包括:
top_k:返回多少个候选块;score_threshold:相似度阈值;metadata_filters:元数据过滤条件;deduplicate:是否去重;rerank:是否进行二次排序。如果知识库不大,top_k 可以设为 3 到 5;如果文档块较小,可以适当增加到 5 到 10;如果上下文长度有限,则需要控制最终拼接的内容总量。
示例伪代码:
query_vector = embed(question)candidates = vector_store.search(query_vector=query_vector,top_k=5,filters={"source": "开发规范文档"})
初次向量检索可能召回一些看似相关但不够精确的块。可以进行二次处理:
重排可以使用交叉编码器、规则评分或自定义打分模型。简单场景可以先不做重排,但要保留日志,便于后续分析。
将检索到的文档片段和用户问题一起组装成提示词。
提示词需要明确约束:
示例提示词:
你是一个严谨的技术问答助手。请仅根据下面提供的资料回答问题。如果资料不足以回答,请明确说明“当前资料不足”。不要编造资料中不存在的信息。回答时请尽量标注依据的资料编号。资料:【资料1】……【资料2】……【资料3】……用户问题:……
将组装好的提示词发送给大模型。
生成参数建议:
temperature:问答场景建议设为较低值,例如 0 到 0.3;max_output_tokens:根据答案长度设置,避免过长;timeout:设置合理超时,避免请求挂起;retry:对网络错误或超时进行有限重试;stream:如需更好交互体验,可启用流式输出。示例伪代码:
answer = llm.generate(prompt=prompt,temperature=0.1,max_output_tokens=800)
为了让用户信任答案,建议在最终输出中附带检索来源。
输出可以包括:
这样用户不仅能获得答案,还能快速定位原始资料。
RAG 系统不是“配好就能一直完美运行”的系统,很多效果问题都来自参数和策略配置。下面列出常见配置项及其含义。
分块大小决定每个知识单元包含多少信息。
对于规范类文档,建议按结构分块,让每个规则条目尽量保持完整。
相邻块之间可以保留少量重叠内容,避免一句话被切断后导致上下文丢失。
通常可以设置少量重叠,但需要根据文档结构反复测试。
top_k 表示每次检索返回多少个候选块。
建议从较小值开始,逐步调整。
相似度阈值用于过滤明显不相关的结果。
阈值应结合具体嵌入模型和业务语料调整。
即使召回了多个分块,也不能无限拼接到提示词中。需要设置上下文长度上限。
常见做法:
问答系统通常希望回答稳定、准确,因此生成温度不宜过高。
如果知识库包含多个来源或多个版本,应使用元数据过滤。
例如:
filters = {"source": "开发规范文档","version": "latest"}
这样可以避免检索到旧版本或错误文档。
下面给出一个与具体产品和语言无关的伪代码示例,仅用于表达整体流程。
# 注意:以下为流程伪代码,不绑定任何具体框架或产品function build_knowledge_base(document_path):raw_text = read_document(document_path)cleaned_text = clean_text(raw_text)chunks = split_by_structure(cleaned_text, marker="【")for chunk in chunks:if not is_valid_chunk(chunk):continuevector = embedding_model.encode(chunk)vector_store.upsert({"id": generate_chunk_id(chunk),"text": chunk,"vector": vector,"source": "开发规范文档","version": "v1","section": extract_section(chunk)})function answer(question):normalized_question = normalize(question)query_vector = embedding_model.encode(normalized_question)candidates = vector_store.search(query_vector=query_vector,top_k=5,filters={"source": "开发规范文档","version": "v1"})filtered = []for item in candidates:if item.score >= MIN_SCORE:filtered.append(item)if len(filtered) == 0:return {"answer": "当前知识库中没有找到足够依据。","references": []}context_blocks = []references = []for index, item in enumerate(filtered):context_blocks.append("【资料" + str(index + 1) + "】" + item.text)references.append({"id": item.id,"source": item.source,"score": item.score})context = join(context_blocks, separator="\n\n")prompt = build_prompt(question=normalized_question,context=context)answer = llm.generate(prompt=prompt,temperature=0.1,max_output_tokens=800)return {"answer": answer,"references": references}
这个示例表达了三个关键点:
搭建完成后,不能只看一次回答是否正常,而应建立验证方法。
建议准备至少四类问题:
直接事实题
答案在某个文档块中能直接找到。
跨块综合题
答案需要结合多个分块信息。
干扰题
问题中包含相似概念,容易召回错误块。
无答案题
知识库中没有相关内容,系统应明确表示无法回答。
对于每个问题,人工标注正确文档块。然后检查:
回答应满足:
建议记录以下信息:
日志有助于定位“检索错了”还是“生成错了”。
可能原因:
排查思路:
可能原因:
排查思路:
可能原因:
排查思路:
可能原因:
top_k 太大;排查思路:
top_k;可能原因:
排查思路:
可能原因:
排查思路:
top_k;纯向量检索擅长理解语义,但对精确术语、编号、函数名、配置项可能不够敏感。可以结合关键词检索和向量检索。
例如:
向量检索通常先快速召回较多候选,再通过重排模型或规则进行精细排序。
重排目标:
用户问题可能简短或口语化。可以进行:
例如把“怎么加锁?”改写为“同步锁应如何实现?是否有超时机制?”
建议维护一个持续增长的评估集,包含:
每次调整分块、嵌入模型、检索参数或提示词后,都进行回归测试。
如果知识库包含敏感内容,需要在检索前进行权限控制:
如果系统将服务部署到云端,可以结合百度智能云的通用能力进行工程化增强,例如:
这些能力本身不改变 RAG 的核心流程,但可以提升系统的稳定性、可维护性和可扩展性。
本文围绕“如何搭建一个简单 RAG 问答系统”展开,从原始痛点出发,解释了为什么不能简单地把所有文档塞进提示词,并给出了完整的实现路径。
核心步骤可以归纳为:
RAG 不是一次性配置完成的任务,而是一个持续迭代的过程。你需要不断观察检索是否命中、上下文是否足够、回答是否越界、成本是否可控。掌握这套方法后,你可以把任意一类内部知识转化为可检索、可问答、可追溯的智能服务。