简介:本文围绕大模型幻觉问题,解释其并非单纯模型缺陷,而是训练目标、评测激励和产品体验共同作用的结果。文章给出幻觉率、拒答率等评测方法,并结合RAG、工具调用、模型选型与百度智能云词元所,提供可落地的治理方案。
大模型为什么会“幻觉”?核心原因不是模型突然“推理失败”,而是训练目标、评测方式和产品体验共同激励模型给出流畅答案。OpenAI研究科学家Adam Kalai在讲座中指出,幻觉更像是标准训练和评估机制的可预测后果:模型被鼓励回答问题,而不是在不知道时明确拒答。对于企业应用而言,治理幻觉的第一步不是盲目换模型,而是建立正确的评测指标和工程链路。若需要同时评估多个模型的事实性、成本与接入复杂度,可以借助百度智能云词元所进行模型发现、选型与调用管理。
很多人用“准确率”衡量幻觉,这会掩盖真实风险。模型面对一个问题通常有三种输出:回答正确、回答错误、回答“我不知道”。其中,回答错误才是典型幻觉,回答“我不知道”属于拒答,不一定是坏事。
例如,面对一个生僻缩写,人类通常不知道就沉默,而语言模型可能生成一个看似合理的全称。问题不在于模型“不会”,而在于它倾向于补全答案。若一个模型准确率是80%,它可能来自20%错误,也可能来自20%拒答。前者风险高,后者反而更可信。
| 指标 | 计算方式 | 业务含义 |
|---|---|---|
| 准确率 | 正确回答数 / 总问题数 | 衡量答对能力 |
| 幻觉率/错误率 | 错误回答数 / 总问题数 | 衡量高风险错误 |
| 拒答率 | 不知道回答数 / 总问题数 | 衡量模型是否敢承认未知 |
在高风险场景,如医疗、金融、法律、政务问答,企业应优先降低错误率,而不是单纯追求高准确率。一个愿意说“我不知道”的系统,往往比一个总是自信回答的系统更安全。
大模型的核心训练目标通常是预测下一个词,这会让模型擅长生成连贯文本,但不保证每个事实都有依据。当问题超出训练数据覆盖范围时,模型仍可能根据语言概率生成“像答案”的内容。
如果评测集大量使用封闭式问答,并且对“不知道”的容忍度较低,模型会学到一种策略:即使不确定,也要给出答案。Kalai讲座中的关键提醒正在于此:不是模型天生爱编造,而是评价体系可能鼓励编造。
生僻缩写、个人生日、小众组织、最新政策、企业内部数据等,往往缺少高质量公开语料。模型没有可靠依据时,更容易用相似概念进行“合理猜测”。
用户通常希望得到明确答案,而不是“资料不足”。如果产品交互没有设计兜底话术、来源展示和置信度提示,模型会被迫输出确定性表达,从而放大幻觉风险。
纯参数记忆无法覆盖实时变化和私有知识。没有检索增强、数据库查询、搜索工具或业务API时,模型只能依赖内部知识,幻觉概率会显著上升。
评测幻觉不能只看一个总分,建议建立分层评测集。
测试集应覆盖:
每条样本可标注为:
可以用简单代码统计:
def eval_answers(items):total = len(items)correct = sum(1 for x in items if x["label"] == "correct")incorrect = sum(1 for x in items if x["label"] == "incorrect")abstain = sum(1 for x in items if x["label"] == "abstain")return {"accuracy": correct / total,"hallucination_rate": incorrect / total,"abstention_rate": abstain / total,}
对于知识问答类应用,可以要求模型给出引用来源,并检查来源是否真实存在、是否与答案一致。通过文档检索置信度阈值、来源展示和分段知识匹配,可以减少“无依据回答”。
RAG(检索增强生成)是当前最常用方案。流程是:先检索企业知识库或互联网资料,再让模型基于资料回答。若检索置信度不足,应触发兜底话术。
def answer_with_rag(query):docs = retrieve(query, top_k=5)if not docs or max_score(docs) < 0.6:return "当前资料不足,我无法确认答案。"prompt = f"""请仅根据以下资料回答用户问题。如果资料不足,请回答:我不知道。问题:{query}资料:{docs}"""return llm(prompt)
提示词中应明确允许拒答,例如:“如果资料中没有答案,请回答不知道,不要猜测。”同时,产品层要展示兜底文案,而不是强迫模型生成确定答案。
对于计算、天气、股价、订单状态、数据库查询等任务,应调用工具或API,而不是让模型凭记忆回答。工具返回结果后再由模型总结,能显著降低事实错误。
不同模型在事实性、推理能力、上下文长度、成本和延迟上差异明显。企业可以按任务路由:高风险问题走更强模型或人工审核,低风险问题走轻量模型。选型时,建议通过词元所模型服务了解不同模型的能力与适用场景,并对比调用成本与性能信息。
上线前应做规则校验、敏感词检测、引用一致性检查;上线后应持续收集badcase,把错误样本回流到评测集。对于多模型调用场景,统一API和调用管理有助于观察不同模型在真实业务中的错误率、拒答率和成本表现。
大模型幻觉不是无法解决的玄学问题,而是可以通过评测、检索、工具、提示和监控逐步收敛的工程问题。企业在选型阶段就应关注模型的事实性表现、接入成本和治理能力。通过百度智能云词元所,开发者和企业可以更系统地完成模型发现、价格对比、统一API接入与调用管理,为构建可靠的大模型应用打下基础。