简介: RAG系统不是答得越多越好,而是在证据缺失时敢于停下。本文通过一个带三处检查点的质检场景RAG示例(含20例评测数据),对比“带拒绝机制的受控RAG流水线”与“自由生成式RAG”的核心差异,帮助开发者理解检查点设计、引用校验、人工升级机制的价值,以及如何在验收交付中守住可信度底线。
市面上大多数Agent / RAG演示,核心叙事是“模型很聪明”:问一句、答一段、截图漂亮。但真正进入企业交付和验收阶段时,吵架的地方往往不是“答得不够好”,而是这两类问题:
这三类问题不会出现在演示视频里,但一定会出现在验收会上。因此,本文要对比的核心对象是:
方案A(受控流水线):在检索、生成、工具调用之间插入显式检查点。当检查点失败时,系统不产出答案,而是标记“升级人工”或“拒绝回答”。它的设计哲学是:宁可少答,不可错答。
方案B(自由生成):典型的“检索→拼提示词→生成”三段式,不设显式的中止条件,模型基于检索内容与自身参数知识自由组织答案。它的设计哲学是:尽量提升回答覆盖率。
两者解决的是同一个问题(基于知识库问答),但采用了截然不同的失败处理策略。
尽管失败策略不同,两类方案在基础层面高度一致:
区别不在“能不能答”,而在“答不了的时候怎么办”。
这是最根本的差异。以一个带三处检查点的示意逻辑为例:
检查点1(检索后):证据是否覆盖问题所需的关键规则/条目?└─ 失败 → 拒绝作答,标记"缺证据",升级人工检查点2(工具调用后):工具是否成功返回?参数是否合法?└─ 失败 → 中止流程,不得用猜测结果继续检查点3(生成后):引用编号是否能在原文中对应?└─ 失败 → 剔除该引用或整体拒绝
方案B没有这些中止分支,任何一环失败后流程都会继续,最终把错误“包装”成正常答案输出。
受控流水线的评测数据中有一个关键细节值得展开。以下是某质检场景Demo的20例评测结果:
| 指标 | 数值 | 怎么读 |
|---|---|---|
| 用例数 | 20 | 固定种子,可复跑 |
| 决策与规则引擎一致率 | 100% | 自洽性检查,不是准确率 |
| 升级人工比例 | 25% | 5例主动放弃作答 |
| 检查点失败次数 | 6 | 全部是“缺过程能力记录” |
| 平均工具调用次数 | 5.55 | 上限6,超了升级 |
| 测试数 | 36 | 覆盖规则、工具参数、检查点、引用校验 |
| 单例平均耗时 | ~9 ms | mock provider,无网络 |
| 20例token成本 | 较低 | 按轻量模型价格估算 |
注意第二条:不能写成“准确率100%”。因为期望答案本来就是同一个规则引擎算出来的,拿它去比模型输出,只能证明“流水线没有把策略答案带偏”,证明不了对未见问题的准确率。这个区别在客户交付时非常要命——写错一次,后面所有数字都会被质疑。方案B的演示往往直接汇报“回答正确率”,恰恰容易混淆这两类指标。
方案A的25%升级人工比例,表面看是“能力不足”,实际是用覆盖率换取可信度的显式成本。方案B理论上覆盖率更高,但错误答案的成本(信任损耗、返工、验收纠纷)是隐性的、滞后的、往往由交付方承担。
| 维度 | 方案A:带检查点受控流水线 | 方案B:自由生成式RAG |
|---|---|---|
| 失败处理 | 显式拒绝/升级人工 | 静默继续生成 |
| 指标可信度 | 可区分自洽性与准确率 | 易混淆“答了”与“答对” |
| 覆盖率 | 较低(主动放弃部分问题) | 较高 |
| 幻觉风险 | 显著降低(证据不足即停) | 依赖模型与提示词约束 |
| 实现复杂度 | 需设计检查点、升级通道、测试 | 实现简单,上手快 |
| 运维成本 | 需维护规则与检查逻辑 | 低,但排错困难 |
| 适用阶段 | 生产交付、验收严格的场景 | 原型验证、内部探索 |
方案A天然可测:36条测试可以分别覆盖规则逻辑、工具参数校验、检查点行为、引用一致性四个层面,失败可定位到具体环节。方案B的端到端测试往往只能验证“是否输出了答案”,难以验证“为什么输出这个答案”。
RAG系统的成熟度,不体现在“答得多流畅”,而体现在“哪里敢停下来”。带检查点的受控流水线通过显式的拒绝与升级机制,把证据缺失、工具失败、引用错误这三类验收会上的“隐形炸弹”变成了可测试、可量化的工程问题,其代价是覆盖率与实现复杂度。自由生成式RAG实现简单、覆盖率高,适合探索期,但在严格交付场景中风险难以兜底。合理的路径是:从自由生成起步验证,用检查点逐步收口,让每一次“拒绝回答”都成为系统可信度的加分项。