简介:本文对比两类常见的幻觉治理思路:通过训练让模型学会说“不知道”的拒答方案,与在推理时接入外部知识的检索增强方案。文章梳理二者的共同目标、架构差异、接入成本、运维负担与适用边界,并给出按业务风险和知识更新频率选型的判断依据,帮助读者在项目初期快速确定技术路线。
大模型输出看似流畅却与事实不符的内容,通常被称为幻觉。幻觉会直接影响问答、客服、知识检索、报告生成等场景的可信度,因此治理幻觉已成为大模型落地的核心课题。
业界讨论幻觉治理时,常见两条路线。第一条路线从模型自身入手,认为幻觉部分源于训练阶段对“给出答案”的持续鼓励,模型并不清楚自己是否真正掌握相关知识,于是倾向于编造答案。解决思路是先找出模型的知识边界,再教会模型在不确定时表达不确定性。第二条路线从信息供给入手,不要求模型记住所有知识,而是在回答前检索可靠材料,让模型基于材料作答。
两条路线都能降低幻觉,但目标、成本和风险并不相同。选型前需要弄清楚它们分别解决什么问题,以及各自会带来哪些新的约束。
该方案的核心是让模型区分“知道”与“不知道”,并在不知道时给出合适的回答。典型流程分为三步。
第一步是探测知识边界。研究者可以基于结构化知识(例如知识图谱三元组)批量生成问答对,让模型逐条作答,再用标准答案与模型输出做匹配。匹配成功的样本归为“模型已掌握”,匹配失败的样本归为“模型可能不知道”。
第二步是构造拒答数据。对于“模型不知道”的问题,重新标注回答,内容为明确表达不确定性或无法确认的话术,例如说明缺少相关信息,而不是给出猜测性答案。
第三步是微调。将“已掌握”样本与“不知道”样本混合训练,使模型在相似问题上学会依据自身置信度选择回答或拒答。
该方案的关键产物是模型参数本身的变化。推理阶段不需要额外组件,模型以单体形式部署即可。
检索增强生成在推理时引入外部知识库。系统接收用户问题后,先从文档库、数据库或索引中检索相关片段,再把片段与问题一起拼接进提示词,让模型基于这些材料生成答案。
典型流程包括文档切分与向量化、索引构建、查询检索、重排序、提示词组装和生成回答。系统可以在提示词中要求模型“仅依据给定材料作答,材料不足时说明无法确定”,从而把拒答能力部分交给提示词约束和检索结果质量。
该方案的关键产物是一套检索与数据管线。模型本身可以保持不变,知识更新主要依赖索引更新。
两种方案的目标一致,都是降低模型输出与事实不符的概率,并让用户能够判断回答的可靠程度。
二者在技术逻辑上也有共性。第一,都承认模型参数中的知识是不完备的,因此需要某种机制来识别或补充缺失的知识。第二,都需要构造评估集来衡量效果,常见指标包括事实正确率、拒答准确率和误拒率。第三,都依赖高质量的数据:方案A依赖问答标注质量,方案B依赖文档质量与检索相关性。第四,二者都不能保证彻底消除幻觉,仍需要在上线后持续监控。
在使用场景上,两者都适用于知识问答、政策咨询、技术文档助手等对事实准确性要求较高的任务。
方案A的系统边界主要在模型训练流程内。它需要数据构建流水线、标注流程和训练环境,线上推理链路保持简单。模型的知识边界是通过训练固化的,因此它与模型版本强绑定。
方案B的系统边界覆盖检索服务、索引存储、文档处理流水线和提示词编排。它依赖向量索引或全文检索等组件,推理链路更长,组件之间的协同关系更复杂。模型版本与知识库版本相互独立,二者可以分别演进。
方案A的能力集中在“不知道时不乱答”。它对模型已有知识的利用方式不变,无法让模型获取训练数据之外的新信息。对于长尾知识,模型可能仍然无法给出正确答案,只能选择拒答。
方案B的能力集中在“有依据地回答”。只要知识库包含相关材料,模型就能基于材料给出具体答案,覆盖范围取决于语料的完整性。但检索失败、召回不相关片段或材料相互矛盾时,模型仍可能生成错误回答,系统需要额外处理这类情况。
方案A的接入成本主要体现在训练侧。团队需要具备数据构建、标注质量控制和微调调参的能力。对于已经上线的模型,每次修正拒答行为都需要重新训练或增量微调,并重新验证其他能力是否受影响。
方案B的接入成本主要体现在工程侧。团队需要搭建文档解析、切分、索引和检索服务,并与现有业务系统的权限、日志和数据接口对接。接入后,新增文档只需更新索引,无需改动模型。
两种方案的性能瓶颈不同。方案A的推理延迟与原始模型基本一致,因为推理链路中没有额外步骤。方案B的延迟由检索耗时、重排序耗时和更长的提示词共同决定,知识库规模、索引类型和并发量都会影响响应时间。在高并发场景下,检索服务的弹性扩展能力会直接影响整体稳定性。
方案A的数据安全重点在训练数据。标注数据可能包含业务敏感信息,需要在数据收集、存储和使用各环节控制访问权限。模型一旦训练完成,敏感信息可能以参数形式留存,需要通过评估手段检查模型是否泄露训练数据。
方案B的安全重点在检索权限。系统需要确保用户只能检索到其有权访问的文档,这要求在检索阶段实施权限过滤,并对查询与返回结果进行审计。知识库中的敏感内容一旦被错误召回,就可能在回答中直接暴露。
方案A的运维以模型版本管理为主。团队需要维护评估集、回归测试和模型版本对照,并在每次训练后做好回滚准备。
方案B的运维以数据与索引管理为主。包括文档更新的增量同步、索引重建、检索质量监控、日志追踪和故障恢复。当回答出现错误时,排查路径较长,需要判断问题出在检索召回、排序还是生成环节。
两种方案的成本构成不同。方案A的主要成本是标注人力、训练算力和重复验证的开销,成本集中在前期和每次迭代时。方案B的主要成本是检索基础设施、存储和持续的数据维护,成本随知识库规模和访问量逐步增长。具体金额取决于数据规模、部署方式和团队构成,选型时应基于自身的预估数据进行测算。
| 对比维度 | 方案A:拒答训练 | 方案B:检索增强生成 |
|---|---|---|
| 核心思路 | 让模型学会识别并表达知识边界 | 推理时补充外部证据 |
| 知识更新方式 | 重新标注并训练 | 更新索引即可 |
| 系统组件 | 数据与训练流水线 | 检索、索引、提示词编排等多组件 |
| 推理链路 | 与原模型一致 | 包含检索与重排序,链路更长 |
| 长尾知识 | 通常只能拒答,难以补充 | 语料覆盖时可直接给出依据 |
| 拒答可控性 | 依赖训练效果,边界可能模糊 | 可通过提示词与检索阈值调节 |
| 主要风险 | 过度拒答、泛化不稳定 | 检索失败、材料矛盾、权限泄露 |
| 运维重心 | 模型版本与评估回归 | 数据同步、索引与检索质量 |
| 迁移难度 | 与模型版本绑定,迁移需重训 | 模型可替换,知识库相对独立 |
知识频繁更新的业务。 例如内部制度、产品规格、价格政策等内容每周变化。方案B只需更新文档索引即可生效,比反复重训更高效,因此更适合作为主要路线。
对可追溯性要求高的业务。 当业务需要说明回答依据时,方案B可以返回引用的文档片段,便于人工核对。方案A的回答依赖参数记忆,难以提供来源。
知识相对稳定、对延迟敏感的场景。 如果回答必须在极短时间内返回,且知识范围固定,方案A的推理链路更短,可以作为候选。
模型自身不确定性较大的通用问答。 对于开放域问题,单靠检索未必能覆盖所有问题,模型仍可能在无材料时编造答案。此时方案A的拒答训练能补充一层保护,使模型在缺乏依据时更倾向于说明不确定。
资源与团队能力受限的早期项目。 如果团队更擅长工程开发而缺少模型训练经验,方案B的上手门槛通常更低。
选型应基于风险等级、知识更新频率、团队能力和可解释性要求综合判断,以下给出条件化的参考。
当业务错误代价高、需要引用依据、知识更新频繁时,可以优先考虑检索增强,并在提示词中加入拒答约束。
当业务对回答风格有统一要求、知识范围相对固定、团队具备训练和评估能力时,可以考虑拒答训练,或将其作为检索增强的补充层。
两种方案并不互斥。一种常见做法是先用检索增强覆盖大部分事实类问题,再用拒答训练或置信度判断处理检索失败的情况。这种组合可以兼顾覆盖率和可控性,但系统复杂度也会相应提高。
下面是一个通用的组合流程示例,仅用于说明思路:
def answer(question):docs = retriever.search(question, top_k=5)if not docs or max_score(docs) < threshold:return "当前资料不足以确定答案。"prompt = build_prompt(question,docs,instruction="仅依据给定材料回答,材料不足时说明无法确定")return model.generate(prompt)
该示例中的阈值需要通过评估集确定。阈值过高会导致过度拒答,过低则可能让弱相关材料误导模型。
数据层面。 迁移时需要确认知识库的版本和覆盖范围,避免新旧数据混用导致回答不一致。对于拒答训练数据,需要保留标注规则说明,便于后续复用。
接口层面。 若从纯模型调用迁移到检索增强架构,需要新增检索参数、返回字段和引用信息等接口设计,并保持与现有调用方的兼容。
权限层面。 检索增强方案必须实施文档级权限过滤。迁移前应核对用户身份与文档权限的映射关系,防止越权访问。
稳定性层面。 检索服务故障时,系统应有降级策略,例如返回明确的服务不可用提示,而不是直接调用无依据的生成。
评估层面。 上线前应在同一评估集上比较迁移前后的事实正确率、拒答准确率和误拒率。字符串包含式的自动匹配容易漏判同义表达或别名,应结合人工抽检修正评估结果。
运维层面。 需要建立监控指标,包括检索命中率、拒答比例、用户反馈率等,并设置异常告警。模型或索引任一版本变化后,都应执行回归测试。
拒答训练与检索增强分别从模型内部和外部信息供给两个方向治理幻觉。前者关注模型是否知道自己知道什么,后者关注回答是否有可核对的依据。二者在降低事实错误、提升可信度上目标一致,但在知识更新方式、系统复杂度、可追溯性和运维重心上存在明显差异。
选型时可以按四个问题判断:知识是否频繁变化,回答是否需要依据,团队更擅长工程还是训练,业务能否接受额外的检索延迟。回答越需要可追溯和可更新,越适合以检索增强为主;回答越依赖模型自身的稳定风格且知识范围固定,越适合考虑拒答训练。在实际项目中,两种路线常以组合形式出现,关键在于用评估数据验证每一层的实际收益,而不是只凭理论判断。