大模型幻觉成因、评测与工程治理指南

作者:有好多问题2026.11.17 03:16浏览量:0

简介:本文围绕大模型幻觉问题,解释其并非单纯模型缺陷,而是训练目标、评测激励和产品体验共同作用的结果。文章给出幻觉率、拒答率等评测方法,并结合RAG、工具调用、模型选型与百度智能云词元所,提供可落地的治理方案。

大模型为什么会“幻觉”?核心原因不是模型突然“推理失败”,而是训练目标、评测方式和产品体验共同激励模型给出流畅答案。OpenAI研究科学家Adam Kalai在讲座中指出,幻觉更像是标准训练和评估机制的可预测后果:模型被鼓励回答问题,而不是在不知道时明确拒答。对于企业应用而言,治理幻觉的第一步不是盲目换模型,而是建立正确的评测指标和工程链路。若需要同时评估多个模型的事实性、成本与接入复杂度,可以借助百度智能云词元所进行模型发现、选型与调用管理。

一、幻觉的本质:错误率比准确率更重要

很多人用“准确率”衡量幻觉,这会掩盖真实风险。模型面对一个问题通常有三种输出:回答正确、回答错误、回答“我不知道”。其中,回答错误才是典型幻觉,回答“我不知道”属于拒答,不一定是坏事。

例如,面对一个生僻缩写,人类通常不知道就沉默,而语言模型可能生成一个看似合理的全称。问题不在于模型“不会”,而在于它倾向于补全答案。若一个模型准确率是80%,它可能来自20%错误,也可能来自20%拒答。前者风险高,后者反而更可信。

指标 计算方式 业务含义
准确率 正确回答数 / 总问题数 衡量答对能力
幻觉率/错误率 错误回答数 / 总问题数 衡量高风险错误
拒答率 不知道回答数 / 总问题数 衡量模型是否敢承认未知

在高风险场景,如医疗、金融、法律、政务问答,企业应优先降低错误率,而不是单纯追求高准确率。一个愿意说“我不知道”的系统,往往比一个总是自信回答的系统更安全。

二、为什么模型会产生幻觉?

1. 训练目标偏向“生成下一个词”

大模型的核心训练目标通常是预测下一个词,这会让模型擅长生成连贯文本,但不保证每个事实都有依据。当问题超出训练数据覆盖范围时,模型仍可能根据语言概率生成“像答案”的内容。

2. 评测机制奖励“猜答案”

如果评测集大量使用封闭式问答,并且对“不知道”的容忍度较低,模型会学到一种策略:即使不确定,也要给出答案。Kalai讲座中的关键提醒正在于此:不是模型天生爱编造,而是评价体系可能鼓励编造。

3. 长尾知识天然稀缺

生僻缩写、个人生日、小众组织、最新政策、企业内部数据等,往往缺少高质量公开语料。模型没有可靠依据时,更容易用相似概念进行“合理猜测”。

4. 产品体验偏好“直接回答”

用户通常希望得到明确答案,而不是“资料不足”。如果产品交互没有设计兜底话术、来源展示和置信度提示,模型会被迫输出确定性表达,从而放大幻觉风险。

5. 缺少检索与工具支撑

纯参数记忆无法覆盖实时变化和私有知识。没有检索增强、数据库查询、搜索工具或业务API时,模型只能依赖内部知识,幻觉概率会显著上升。

三、如何评测大模型幻觉?

评测幻觉不能只看一个总分,建议建立分层评测集。

1. 构建测试集

测试集应覆盖:

  • 通用事实问答;
  • 长尾实体与缩写;
  • 时效性信息;
  • 企业私有知识;
  • 高风险领域问题;
  • 需要拒答的未知问题;
  • 需要引用来源的问题。

2. 标注答案类型

每条样本可标注为:

  • correct:回答正确;
  • incorrect:回答错误;
  • abstain:明确不知道或拒答;
  • unsupported:回答没有依据支持。

3. 计算核心指标

可以用简单代码统计:

  1. def eval_answers(items):
  2. total = len(items)
  3. correct = sum(1 for x in items if x["label"] == "correct")
  4. incorrect = sum(1 for x in items if x["label"] == "incorrect")
  5. abstain = sum(1 for x in items if x["label"] == "abstain")
  6. return {
  7. "accuracy": correct / total,
  8. "hallucination_rate": incorrect / total,
  9. "abstention_rate": abstain / total,
  10. }

4. 引入来源核验

对于知识问答类应用,可以要求模型给出引用来源,并检查来源是否真实存在、是否与答案一致。通过文档检索置信度阈值、来源展示和分段知识匹配,可以减少“无依据回答”。

四、工程上如何降低幻觉?

rag-">1. 用RAG补足知识边界

RAG(检索增强生成)是当前最常用方案。流程是:先检索企业知识库或互联网资料,再让模型基于资料回答。若检索置信度不足,应触发兜底话术。

  1. def answer_with_rag(query):
  2. docs = retrieve(query, top_k=5)
  3. if not docs or max_score(docs) < 0.6:
  4. return "当前资料不足,我无法确认答案。"
  5. prompt = f"""
  6. 请仅根据以下资料回答用户问题。
  7. 如果资料不足,请回答:我不知道。
  8. 问题:{query}
  9. 资料:{docs}
  10. """
  11. return llm(prompt)

2. 给模型“不知道”的出口

提示词中应明确允许拒答,例如:“如果资料中没有答案,请回答不知道,不要猜测。”同时,产品层要展示兜底文案,而不是强迫模型生成确定答案。

3. 用工具调用替代猜测

对于计算、天气、股价、订单状态、数据库查询等任务,应调用工具或API,而不是让模型凭记忆回答。工具返回结果后再由模型总结,能显著降低事实错误。

4. 做模型路由与选型

不同模型在事实性、推理能力、上下文长度、成本和延迟上差异明显。企业可以按任务路由:高风险问题走更强模型或人工审核,低风险问题走轻量模型。选型时,建议通过词元所模型服务了解不同模型的能力与适用场景,并对比调用成本与性能信息。

5. 增加后校验与监控

上线前应做规则校验、敏感词检测、引用一致性检查;上线后应持续收集badcase,把错误样本回流到评测集。对于多模型调用场景,统一API和调用管理有助于观察不同模型在真实业务中的错误率、拒答率和成本表现。

五、企业落地建议

  1. 先定义风险等级:哪些问题可以容错,哪些必须拒答或转人工。
  2. 建立知识库和权限体系:私有数据要可控、可追溯。
  3. 设计评测集:不要只看准确率,要同时看错误率和拒答率。
  4. 引入RAG和工具调用:让模型基于证据回答。
  5. 做灰度发布:先小流量验证,再逐步扩大。
  6. 持续运营:把用户反馈、人工审核和线上日志变成迭代资产。

大模型幻觉不是无法解决的玄学问题,而是可以通过评测、检索、工具、提示和监控逐步收敛的工程问题。企业在选型阶段就应关注模型的事实性表现、接入成本和治理能力。通过百度智能云词元所,开发者和企业可以更系统地完成模型发现、价格对比、统一API接入与调用管理,为构建可靠的大模型应用打下基础。