大语言模型幻觉:忠诚性与事实性对比及评估选型

作者:新兰2026.11.16 10:43浏览量:0

简介:本文系统对比大语言模型的两类核心幻觉——忠诚性(Faithfulness)与事实性(Factualness),从定义、内部细分、成因到评估方式逐层拆解差异,帮助开发者分清传统NLG任务与开放域对话场景下"幻觉"判定标准的不同,并针对基于参考与无参考的评估路线给出可落地的选型思路。

一、对比背景

大语言模型(LLM)生成的内容看似流畅,却常常出现与事实不符或凭空编造的情况,这就是所谓的”幻觉”。但在工程实践中,”幻觉”并不是一个单一概念:同一个模型在摘要任务里”多说了一句原文没有的话”,和在开放域聊天里”编了一个错误的常识”,性质与危害程度并不相同。如果不区分清楚,团队在设计评测指标、判定上线标准、筛选优化方向时就会南辕北辙。因此,有必要把幻觉拆解为两大范式进行系统对比,帮助读者建立清晰的判断框架。

二、对比对象:两类幻觉的定义

本文对比的核心对象是幻觉的两大判定视角:忠诚性幻觉(Faithfulness) 与 事实性幻觉(Factualness)。

忠诚性幻觉(Faithfulness)

忠诚性关注的是”模型输出是否忠于给定的输入信息”。这类幻觉主要出现在有明确输入源的任务中,例如文本摘要、信息抽取、基于文档的问答等。其下又细分为两类:

  • 信息冲突(Intrinsic Hallucination):模型生成的内容与输入源发生矛盾。比如在摘要任务中,原文说”公司营收增长”,摘要却写成”公司营收下滑”,输出与文档信息直接冲突。
  • 无中生有(Extrinsic Hallucination):模型输出了一些输入中根本不存在、也无法从输入推导出来的额外信息,如邮箱、电话、地址等。这类信息往往难以即时验证真伪。

需要特别注意的是:按此定义,无中生有的内容有可能恰好是真实的,只是它超出了输入源的范围,需要引入外部信息才能确认。因此它是否算”错误”取决于判定标准。

事实性幻觉(Factualness)

事实性关注的是”模型输出是否符合客观世界的事实”,而不问它是否来自输入。之所以在面向 LLM 时要单独讨论这一维度,是因为我们应用大模型的方式通常是开放域对话(open-domain chat),而不是局限在某个封闭任务里。此时数据源可视为”任意的世界知识”,模型只要生成了输入源之外的额外信息,我们就更在意它是否符合事实。如果这段额外信息经核实为真,反而对我们有帮助,不应被简单判为幻觉。

三、相同点分析

两类幻觉虽然判定视角不同,但存在以下共同点:

  • 本质同源:它们都源于生成式模型的”概率生成”机制。模型本质上是在预测下一个最可能的词,而非检索事实,因此都可能输出未经验证的内容。
  • 传统任务的重合区:在结构化任务中,忠诚性幻觉往往同时是事实性错误。当输入源本身是可信的,忠于输入约等于符合事实,两个视角的结论趋于一致。
  • 都难以自动判定:无论哪类幻觉,判断”是否为真”都需要某种外部参照或验证机制,无法仅靠模型自身可靠完成。

四、核心差异分析

定义与判定视角

忠诚性的判据是”输出 vs 输入”,事实性的判据是”输出 vs 客观世界”。前者是相对判断(相对于给定源),后者是绝对判断(相对于真相)。这决定了二者适用的场景完全不同:有输入源约束的任务看忠诚性,开放域生成看事实性。

成因对比

幻觉的产生原因是分层的,不同成因对两类幻觉的影响权重也不同:

  • 模型结构:较弱的骨干网络(如 RNN 类)容易引发较严重的幻觉,但在大参数量的 LLM 时代,这一因素通常不再是主因。
  • 解码算法:研究表明,采用不确定性较高的采样策略(如 top-p 这类核采样)会诱发更严重的幻觉。工程上甚至可以主动提高解码随机性,让模型”胡编乱造”,从而批量生成负样本用于训练或评测。
  • 暴露偏差(Exposure Bias):训练阶段与推理阶段的不匹配,容易导致长文本生成时出现幻觉,生成的 response 越长,累积偏差越明显。
  • 参数知识:模型在预训练阶段记忆了错误或过时的知识,是事实性幻觉的主要来源;对忠诚性幻觉而言,则更多表现为对输入的错误归纳。

可以看到,事实性幻觉更多由参数知识决定,而忠诚性幻觉更多由解码策略与长程生成稳定性决定,这是二者在成因上的关键分野。

评估方法对比

评估路线的选择,直接取决于你要考察忠诚性还是事实性。

基于参考(Reference-based):

  • 结合源信息与目标参考,用 ROUGE、BLEU 等统计指标衡量输出与源/目标的重叠度;
  • 由于 NLG 任务的输出高度多样,很多工作只基于源信息评估,如 Knowledge F1。
  • 局限:基于参考的指标基本只能评价忠诚性,无法评价事实性,因此通常不适用于开放域的 LLM 场景。

无参考(Reference-free):

  • 基于信息抽取(IE):将知识限定为可用三元组表示的关系与事件,先用额外模型抽取,再用额外模型验证。缺点是存在 IE 模型的错误传播问题,且知识被限定在三元组形式内,表达能力受限。
  • 基于问答(QA):流程分三步——① 基于模型生成的回复,用问题生成(QG)模型产生一系列 QA 对;② 给定源信息,让 QA 模型回答上一步生成的问题;③ 对比两步的答案并计算匹配指标,从而衡量幻觉程度。相比 IE,问答路线更灵活,能覆盖更自然的表达,但同样依赖额外模型,评测链路更长。

五、对比表格

维度 忠诚性幻觉(Faithfulness) 事实性幻觉(Factualness)
判据 输出是否忠于输入 输出是否符合客观事实
典型场景 摘要、抽取、文档问答 开放域对话、知识问答
细分 信息冲突、无中生有 与事实不符、过时错误
主要成因 解码策略、长程生成偏差 参数知识错误
主要评估 Reference-based 为主 Reference-free 为主
参考指标局限 只能评忠诚性 需外部验证,成本高
无参考方法 IE、QA 对比 QA、IE 对比
是否适用于LLM开放域 部分适用 更贴合

六、典型场景选择

  • 封闭任务、有明确输入源(如合同摘要、文档抽取):优先看忠诚性。此时输出是否忠于原文是可验证的,评测可放心使用基于参考的指标,成本低、可自动化。
  • 开放域对话、通用问答(如客服助手、知识助手、内容创作):必须看事实性。用户不会提供输入源,模型答得”顺不顺”不重要,答得”对不对”才关键,应选用无参考路线的评测方法。
  • 面向高可信场景(医疗、金融、政务信息):两类都要管,且以事实性为红线,忠诚性为辅,通常需要构建专门的事实核查链路。

七、选型建议

给出几条条件化建议,不做绝对判断:

  • 当团队有稳定、可信的输入源,且任务边界清晰时,优先考虑基于参考的忠诚性评估,工程实现简单、指标稳定。
  • 当应用是开放域、无输入约束时,避免依赖 ROUGE/BLEU 类重叠度指标判断对错,它们只反映措辞重合,无法反映事实正确性。
  • 当需要评估事实性又缺乏标准答案时,可采用基于问答的无参考路线:它比纯三元组抽取更贴近自然语言,能减少信息损失;但要为额外的问题生成模型与问答模型预留算力与评测延迟预算。
  • 若知识高度结构化、关系相对固定,三元组抽取路线更直接,但要先评估 IE 模型的误差会不会被放大传导。

八、迁移与使用注意事项

如果团队从”任务型幻觉评估”迁移到”开放域 LLM 幻觉治理”,需要注意:

  • 指标不可直接复用:忠诚性的高分不代表事实性正确,迁移时要重新建立事实核查链路,而非沿用旧指标。
  • 额外模型的成本与稳定性:无参考路线依赖 QG、QA 或 IE 模型,会引入额外的推理开销和错误传播,需做好监控与兜底。
  • 随机性要可控:解码采样策略直接放大幻觉,生产环境应谨慎调高随机性,并保留可复现的评测配置。
  • 数据与验证来源:事实性验证需要外部可信数据源支撑,要提前规划数据获取、更新与合规边界,避免引入新的可靠性问题。

九、总结

幻觉不是一个笼统概念,而是”忠诚性”与”事实性”两套并行的判定体系:前者问”是否忠于输入”,适合封闭任务、可依赖参考指标;后者问”是否符合事实”,是开放域 LLM 的核心命题,更适合无参考的问答式评估。二者在成因上也有分工——忠诚性受解码与长程生成影响更大,事实性更多受参数知识制约。理解这一区分,才能在评测指标、优化方向和生产选型上做出正确判断:有源看忠诚、开放看事实、高风险场景两者并重。