简介:医生用AI查药被患者拒绝的事件,折射出专业场景使用生成式AI的信任困境。本文从开发者视角剖析大模型知识时效性与幻觉风险,梳理检索增强、引用溯源、人在回路、审计留痕等工程化路径,并给出专业人员的AI使用准则,帮助读者理解如何让AI从“减分项”变成专业场景中的“可信助手”。
近日,江苏某医院一位医生在诊疗时使用某通用大模型工具查询药品信息,被患者家属发现后拒绝其开具处方,事件在网络上引发激烈争论。有人认为医生“不够专业”,也有人为医生鸣不平:主动核对药品信息难道不是负责任的表现吗?
抛开情绪化的站队,技术从业者不妨把这个场景抽象成一个更普遍的问题:在高风险的专业决策场景中,通用生成式AI工具能否作为可靠的知识查询入口?如果不能,可信的AI辅助系统应该具备哪些工程要素?这两个问题,恰恰是当前AI应用落地的核心命题。
1. 大模型的知识存在“截止日期”
通用大模型的能力来自训练语料,而语料必然有时间截止点。药品说明书会修订、临床指南会更新、新药会陆续上市,模型参数里“记住”的知识可能早已过时。开发者对此应该感同身受:向大模型询问某个框架的最新版本用法,它很可能一本正经地给出几年前的写法。医生查新药信息时遇到的,正是参数化知识时效性不足这个顽疾。
2. 幻觉风险在高风险场景被急剧放大
生成式模型的机制决定了它“倾向于给出流畅的答案”,而非“承认不知道”。闲聊场景下,幻觉的代价不过是一次不准确的回答;但在用药场景下,剂量、禁忌、药物相互作用中任何一处细节出错,代价都可能非常高昂。这正是许多行业对“直接采信通用对话模型输出”持保守态度的原因——不是AI没有价值,而是未经约束的输出不可直接作为专业决策依据。
3. 通用工具与专业系统的边界被混淆了
家属真正抵触的,恐怕不是“医生查资料”这个动作,而是医生使用的是一个界面像聊天玩具的消费级应用。两者在可信度上存在系统性落差:通用对话工具的知识来源不透明、无版本管理、无审计记录;而医疗行业其实早已配备成熟的药学数据库与处方审核系统,其查询结果可溯源、可追责。争议的本质,是两类工具的可信度落差被摆上了台面。
4. 双重标准掩盖了真正的共识
值得玩味的是一种常见的自相矛盾:一些患者自己用AI搜索来质疑医生,却拒绝医生用AI核对药品信息。用开发者的日常来类比再恰当不过——没有哪家技术团队会质疑工程师“怎么还在查官方文档”,因为查证本来就是专业工作流的标准动作。真正值得讨论的从来不是“能不能查”,而是“用什么查、怎么查、查完如何落地为决策”。
如果由我们来设计专业场景中的AI辅助能力,以下四个环节缺一不可。
1. 检索增强:让模型“开卷考试”
不应让模型仅凭参数记忆回答专业问题,而要先从权威知识库检索最新内容,再让模型基于检索结果作答,这就是业界通行的检索增强生成(RAG)思路。有读者可能会问:为什么不直接用领域语料微调模型?原因是专业知识更新频繁,微调成本高、周期长,且无法保证信息新鲜度与可追溯性;检索增强则让知识库与模型解耦,知识库更新即刻生效,引用来源也天然可得。目前主流云厂商(包括百度智能云)普遍提供知识库问答、检索增强类的通用服务能力,核心思路都是“先检索、后生成”。
用示意性伪代码表达这条流水线:
def professional_qa(question: str) -> Answer:# 1. 风险分级:区分低风险查询与高风险决策risk = classify_risk(question)# 2. 强制检索:只从权威、带版本号的知识库取证docs = authoritative_kb.search(query=question,filters={"source": "approved", "version": "latest"},top_k=5,)# 3. 受约束生成:逐条附引用,证据不足时明确拒答answer = llm.generate(question,context=docs,require_citations=True,refuse_if_insufficient_evidence=True,)# 4. 人在回路:高风险结论须经专业人员复核后才可生效if risk == RiskLevel.HIGH:return answer.as_draft_for_review()return answer
2. 引用溯源:给每个结论配上出处
可信系统的基本要求是可验证。答案中的每条关键结论,都应能回溯到具体知识条目及其版本号。专业人员看到引用可以快速核对,审计人员看到日志可以复现当时的依据。引用机制同时还是一种“降权”手段:当知识库中证据不足时,系统应明确回答“未查到”,而不是编造一个看似合理的答案。
3. 人在回路:AI出草稿,人来签署
在医疗、金融、法律等高风险领域,通行的设计原则是:AI产出的是“建议稿”,最终决策与签字责任始终在人。医生用AI查药,合理定位是“快速核对工具”——相当于把过去翻手册、问药师的过程数字化提速,而不是把处方权交给模型。责任边界清晰,专业场景才可能放心引入AI。
4. 审计留痕:让“用过什么工具”变得可交代
专业系统还应完整记录查询与决策链路:查了什么、依据哪个版本的知识、由谁复核批准。这既是合规要求,也是化解信任危机的关键——当使用过程可以被完整还原,“用AI”就不再是遮遮掩掩的行为,而是规范流程的一部分。
回到事件本身,公众对“医生用AI”的抵触,深层原因是对专业过程缺乏透明度的长期焦虑:患者没有能力直接评估医生的水平,只能依赖态度、资历、是否“胸有成竹”这类表层信号来脑补信任。而医生翻AI查资料,恰好打破了“无所不知”的表演,让这种脆弱的信任显得摇摇欲坠。
技术上真正的解法,是把信任从“印象”迁移到“过程”:可溯源的知识、可核对的引用、可审计的记录、可解释的结论。当AI辅助的使用过程足够透明——家属能看到医生核对的是带出处的权威资料,而不是一个黑箱聊天框——“用AI”就会从减分项变成加分项,就像今天没有人会质疑医生翻阅纸质药典一样。
对开发者而言,这正是我们的机会所在:把AI从“生成答案的魔术”改造成“展示证据的工程”,专业场景的AI信任问题才能得到系统性解答。