简介:本教程面向开发者、运维人员和技术负责人,讲解检索增强生成系统从范围界定、知识入库、检索配置、回答约束到变更回归的完整路径。读者可按步骤搭建可控的问答服务,学会在证据不足时拒答或转人工,并在模型、提示词、索引或权限变更后快速定位问题。
本教程帮助读者搭建一套基于检索增强生成(RAG)的问答服务。系统从业务自有资料中检索证据,再基于证据生成回答。当证据不足时,系统明确输出”暂未找到可靠依据”,必要时转交人工处理。读者还将掌握上线节奏的控制方法,以及模型、提示词、索引或权限规则变化后的回归重跑方法。
“快速落地”的关键在于控制范围和验收标准,而不是追求更快的模型。范围小、标准清楚、每次只改一处,系统才能较快达到可用状态。
适合阅读本教程的读者包括:
典型场景有内部知识问答、客服辅助、技术文档检索和合规条款查询。这些场景的共同特点是答案必须能追溯到原始资料,错误回答的代价较高。
一套可用的RAG系统通常包含五个环节:
这五个环节相互依赖。检索质量决定回答的上限,生成环节只能在已检索到的证据范围内组织语言。因此,排查问题时应先确认证据是否被找到,再看生成是否正确。
做什么:确定首期覆盖的文档集合、支持回答的问题类型,以及明确不回答的问题类型。
为什么:范围越大,文档质量参差越多,检索噪声越高,验收也越难。先做窄范围,能更快得到可信结果。
注意什么:验收标准必须量化。例如,在评测集上,有证据的问题回答正确率达到约定阈值,无证据的问题拒答率达到约定阈值。阈值由业务方和技术方共同确定,不能只凭主观感受判断。
做什么:对文档做去重、过期清理和版本标注,并为每份文档绑定可访问的用户组。
为什么:过期文档会让模型引用已失效的规则。权限信息如果在入库后才补充,很容易出现越权检索。
注意什么:权限必须在检索时过滤。仅在前端隐藏结果,不构成真正的访问控制。权限变更后,索引中的权限元数据要同步更新。
做什么:按标题层级、段落或固定长度切分文档,并为每个片段保存来源、标题路径和位置信息。
为什么:切分过长会引入无关内容,切分过短又会丢失上下文。保留标题路径,有助于检索和回答时理解片段所属的章节。
注意什么:表格、列表和代码块需要特殊处理,避免被拆散。切分参数应作为可调配置,并在评测中对比不同取值的效果。
做什么:配置向量检索、关键词检索或两者的混合检索,并设置召回数量和相似度阈值。
为什么:单一检索方式对专有名词、编号和缩写的覆盖有限,混合检索通常更稳定。召回数量过少会漏掉证据,过多则会增加模型输入中的噪声。
注意什么:回答错误或拒答时,先判断正确证据是否进入候选集。如果候选集中没有正确片段,问题出在检索环节,应优先检查切分、索引和权限过滤,而不是急于修改提示词。
做什么:编写提示词,要求模型仅依据提供的证据作答,并为每条结论标注来源编号。证据不足时,统一输出固定表述,例如”暂未找到可靠依据”。
为什么:固定的输出格式便于程序判断是否转人工,也便于审计和统计拒答率。
注意什么:提示词中不要允许模型凭经验补充内容。对于证据只覆盖部分问题的情况,应要求模型分别说明哪些部分有依据,哪些部分无法确认。
做什么:定义转人工的触发条件,例如连续两次检索都没有有效证据、用户明确要求人工服务,或问题涉及金额、法律责任等高风险内容。
为什么:转人工是控制风