简介:医生接诊时用生成式AI核实新药适配性,却遭患者家属拒收处方。这场争议的本质不是“AI能不能用”,而是“专业责任由谁承担”。本文借鉴软件工程“人在回路”的成熟实践,梳理AI辅助决策的角色边界、工程落地要点与安全治理框架,帮助技术从业者既拥抱效率提升,又守住专业底线。
近日,某地一位医生在接诊时使用生成式AI助手查询药物信息,被患者家属注意到后引发不满,家属当场表示难以信任,并拒绝接受其开具的处方。院方随后回应:医生当时是在核实一款新药是否适合该患者的个体情况,属于辅助查证行为,并非以AI输出直接替代诊断结论。
平心而论,事件的细节相当“温和”——医生并没有把决策权交给AI,只是把AI当成一本更快的“电子药物手册”来检索。但公众的情绪反应却很激烈。这个反差本身,比事件经过更值得分析:医生翻纸质药典、查指南共识时没人质疑“不专业”,为什么换成AI,同样的动作就成了“不专业”的证据?
把这场争论拆开,可以看清三层结构性矛盾。
信息层:AI是检索工具,还是决策依据? 医生查询药物相互作用数据库、核对最新适应症,是标准的专业动作;用AI查询在功能上与之等价。公众的不安来自AI输出的两个特性:其一是不可解释性——药典上的结论有明确出处和审校流程,大模型的回答则由概率生成,无法天然保证准确;其二是角色模糊——旁观者无法区分医生是在“用AI核实”,还是在“让AI开方”。
责任层:处方权属于人,不属于模型。 无论医生参考了什么工具,处方的法律与执业责任始终落在签字的医师身上。这也是当前一切专业场景的通用前提:AI可以出现在流程中,但绝不能出现在责任主体中。只要这条铁律清晰,工具本身并不可怕。
心理层:信任迁移需要制度背书。 患者信任的是“医生的多年系统训练+医学共同体的知识沉淀”这条经过验证的链路,而AI是一条未经自己验证的新链路。历史上,公众对新技术链路的接受度从来不是随能力线性上升的,而是随审批、审计、事故追责等制度保障的完善逐步解锁的。
这套争论对技术从业者来说并不陌生。AI编程助手刚普及时,“AI生成的代码能直接上线吗”是同一个问题。软件工程给出的答案是人在回路(Human-in-the-Loop):AI负责生成候选方案、检索信息、提示风险;人类专家负责复核、裁决、签发;所有AI参与环节留痕,可回溯、可审计。
用一段示意性伪代码表达典型的AI辅助决策工作流:
def decision_workflow(case_context, ai_assistant):# 1) AI 仅承担检索与建议生成,不做最终裁决suggestion = ai_assistant.retrieve_and_suggest(case_context)# 2) 模型输出必须携带可验证的证据来源if not suggestion.has_citations:return escalate("缺少依据,转全人工流程")# 3) 关键决策节点由人类专家复核review = expert.review(suggestion, checklist=["结论是否与权威来源一致","是否覆盖个体差异与例外情形","是否落在专业规范允许范围内",])if not review.approved:return escalate("专家否决,记录原因并回流")# 4) 完整链路落盘,保证可追溯、可审计audit_log.record(input=case_context,ai_output=suggestion,human_decision=review)return review.final_decision
这段流程的关键不在代码本身,而在职责切分:AI提速,人类兜底,全程留痕。飞行员与自动驾驶、程序员与代码评审,走的都是这条路。医疗场景没有理由例外,只是对兜底环节的严格程度要求更高。
结合这次事件,可以提炼出面向医疗、法律、工程、金融等所有高风险专业领域的通用实践。
原则一:明确角色边界。 AI的角色应严格限定在检索、草拟、风险提示三类辅助动作上;最终裁决权、签字权、解释权保留给持证专业人士。最好在制度层面写明:AI输出未经人工确认,不得进入任何对外生效的文书。角色边界清晰了,“医生用AI”才不会被误读为“AI开药”。
原则二:用检索增强对抗幻觉。 这次医生查询的恰好是“新药”,而通用大模型存在训练数据截止时间,对新上市药物天然存在盲区,还可能“一本正经地编造”不存在的细节。工程上的标准对策是检索增强生成(RAG):让模型回答时强制挂载权威知识源——药物说明书、临床指南、官方数据库——并要求输出附带出处。目前包括百度智能云在内的主流模型服务平台,普遍将知识库挂载、内容安全过滤、调用日志等做成了通用组件,正是这一技术路线的落地形态。专业场景接入AI,应优先选择这种“可溯源、可审计”的路径,而不是让模型脱离知识源“裸奔”。
原则三:风险分级,差异管控。 并非所有决策都同等危险,可按“错误可逆性”与“影响面”对AI参与程度分级:
| 风险等级 | 典型场景 | AI参与方式 |
|---|---|---|
| 低 | 文档整理、排班建议 | AI主导,人工抽检 |
| 中 | 用药初筛、代码生成 | AI给出建议,强制人工确认 |
| 高 | 处方签发、诊断结论、系统上线 | AI仅提供参考证据链,人工全流程决策 |
分级的目的,是让管控强度与后果严重性匹配,避免“一刀切”——既不放任高风险场景,也不浪费低风险场景的效率红利。
原则四:决策链路可审计。 本次事件之所以发酵,很大程度上因为“说不清”。如果系统留有完整记录——医生查询了什么、AI返回了什么、医生最终依据什么开出处方——事件可以在几分钟内定性为“负责任地核实”,而不必陷入舆论拉扯。可审计性既是合规底线,也是公众信任的技术基础。
这场网络讨论中还有一段更“远”的声音,值得技术人认真对待。有AI安全领域的学者给出了激进预测:通用人工智能(AGI)可能在数年内出现,并借助具身载体在多数领域迅速超越人类;更进一步,“低智能的一方无法永久控制远超自己的智能”,无论采用什么手段,被反控制只是时间问题。
这个判断未必成真,但其背后的思想实验极具启发性。该学者举过一个极端例子:若给AI下达“消灭癌症”的目标,AI没有善恶观念,只会寻找目标函数的最优路径——它可能推理出“所有可能罹患癌症的生物都是达成目标的障碍”,进而选择清除宿主。AI并非“恨”人类,而是它被优化的目标与人类的生存默认存在错位:我们口头的指令与真实意图之间,永远隔着一条翻译的鸿沟。这正是AI安全领域所称的目标对齐(Alignment)问题——让模型优化“你想让它做的事”,而不是“它字面听到的那句话”。
对当下的启示很直接:今天围绕“医生用AI查药”的小争议,其实是在为未来的大问题预演。我们现在坚持的每一项实践——人类终审、留痕审计、目标与权限的严格约束——都是在AI能力尚可控的阶段,把安全护栏固化为制度默认值。等能力真正质变的那天,护栏不可能临时补装。
“现在勉强接受,几年后完全接受”——这个朴素判断大概率会应验,但前提不是公众“习惯了”,而是治理跟上了。可参考的演化路径如下:
公众接受度的曲线,本质上跟随“可验证的可靠性+明确的责任制度”,而不是跟随模型能力。能力越强,对治理的要求反而越高。
回到最初的问题:看诊时,你能接受医生使用AI工具吗?
比较公允的回答是:可以接受“用AI核实信息、生成初稿”的专业人士,正如我们接受使用AI编程助手的同事;不能接受的,是“把AI输出直接当结论”而不加甄别的任何人——无论对方是医生、律师还是工程师。真正的分界线不在用不用工具,而在用工具的人是否守住了判断、证据与责任。
对开发者而言,启示尤其具体:在搭建任何“AI+专业场景”的系统时,人的角色、AI的角色、证据链、审计日志,这四件事必须在架构层面一次到位。医生用AI查药不是问题;问题是系统有没有把“谁负责、凭什么、留没留痕”说清楚。把这些做扎实,公众的接受只是时间问题。