医疗AI辅助决策的边界与信任重建

一、事件背后的技术信任命题

近期，一则关于医生在诊疗过程中使用生成式AI工具核查用药合理性的讨论引发了广泛关注。争议的焦点并不完全在于“AI是否被使用”，而在于两个更深层的问题：AI输出的可靠性是否足以支撑临床决策，以及当AI给出错误建议时，责任链条如何界定。

从技术视角看，这一事件折射出当前生成式AI在垂直行业落地时面临的典型困境：通用大模型的“概率性输出”特性与医疗场景对“确定性答案”的刚性需求之间存在根本性张力。开发者需要正视这一张力，而非简单地以“AI只是辅助”来回避问题。

二、通用生成式AI与临床决策系统的本质差异

2.1 输出范式的根本不同

通用对话式AI的核心工作机制是基于上下文概率预测下一个token，其输出本质上是“最可能的合理回答”，而非“经过验证的正确回答”。这意味着：

• 无确定性保证：同一问题在不同时间、不同措辞下可能得到不同答案；
• 无溯源机制：模型无法标注其建议来源于哪份指南、哪项临床试验；
• 无置信度量化：模型以流畅自然语言输出，难以区分“高置信判断”与“低质量猜测”。

而临床用药核查属于典型的高风险决策支持场景，其技术要求包括：药物相互作用数据库的结构化查询、剂量阈值的确定性校验、过敏史与禁忌症的规则匹配等。这些任务的本质是确定性计算，而非概率性生成。

2.2 一个示意性的对比

# 确定性规则引擎示例（伪代码）
def check_drug_interaction(drug_a, drug_b, patient):
    interactions = query_structured_db(drug_a, drug_b)
    if interactions.severity >= Severity.MAJOR:
        return Alert(
            level="HIGH",
            evidence=interactions.clinical_trials,
            recommendation=interactions.management
        )
    # 输出可追溯、可审计、结果确定

# 生成式模型调用示例（伪代码）
def ask_llm_about_drugs(drug_a, drug_b):
    response = llm.generate(f"{drug_a}和{drug_b}能否联用？")
    # 输出为自然语言，无结构化溯源，结果具有随机性
    return response

两者在工程属性上的差异是本质性的：前者可审计、可回归测试、可版本管理；后者在当前技术阶段更适用于信息检索辅助和知识草稿生成，而非直接输出决策建议。

三、临床AI辅助系统的可信工程原则

如果要在医疗场景中合理引入AI能力，开发者应遵循以下工程原则：

3.1 可验证性优先

任何AI输出的建议都必须经过独立验证路径。例如，AI可以用于从非结构化文本中提取候选药物信息，但最终的相互作用判断必须由结构化知识库完成。AI的角色是“信息预处理”，而非“决策终端”。

3.2 全链路可追溯

系统需要记录每一次AI调用的输入、输出、模型版本、时间戳，以及最终采纳或拒绝的理由。这不仅满足合规审计要求，也是事后复盘与持续改进的基础。

3.3 置信度显式化

对于AI生成的每一条建议，系统应附带置信度评估或不确定性提示。例如，当模型对某药物相互作用的知识覆盖不足时，应明确标注“该结论置信度较低，建议人工复核”，而非以同等流畅的语气输出。

3.4 人机责任边界清晰

技术系统无法承担法律责任，但可以通过交互设计明确责任归属。例如：

• AI建议以“参考信息”形式呈现，而非“处方建议”；
• 医生采纳或修改AI建议的操作需留痕；
• 系统不自动执行任何用药决策，始终由具备资质的专业人员确认。

四、从“能不能用”到“怎么用好”：落地路径

4.1 场景分级

不同临床场景对AI的容忍度差异显著。可按照风险等级划分：

风险等级	典型场景	AI可用角色
低	医学科普、健康咨询	直接生成内容
中	病历摘要、文献检索	生成草稿，人工审核
高	用药决策、诊断建议	仅作信息提示，不输出结论

4.2 技术架构建议

在医疗信息化系统中引入AI能力时，建议采用分层架构：

• 交互层：负责与临床工作者交互，收集结构化输入；
• AI服务层：封装模型调用，统一管理提示模板、输出解析、置信度评估；
• 知识层：结构化药品知识库、临床指南库、规则引擎；
• 审计层：全量日志、版本管理、合规报告。

AI服务层的输出不应直接透传至交互层，而应经过知识层的交叉验证与审计层的记录。

4.3 持续评估机制

上线不代表结束。需要建立持续的评估机制，包括：

• 定期抽样审查AI建议的准确率；
• 收集临床工作者的反馈与修正记录；
• 监控模型更新带来的行为变化；
• 建立不良事件上报与回滚流程。

五、信任重建的技术逻辑

回到最初的命题：患者对医生使用AI的担忧，本质上是对“不可解释、不可追溯、不可问责”的技术黑箱的担忧。这种担忧是合理的，也是推动技术进步的驱动力。

重建信任的路径不在于禁用AI，而在于让AI的行为变得可解释、可验证、可审计。当系统能够清晰地展示“这条建议来自哪个知识库、经过哪些验证步骤、置信度如何、由谁最终确认”，信任便有了技术基础。

对于开发者和医疗信息化从业者而言，这意味着：

1. 不要将通用生成式AI直接嵌入高风险决策链路；
2. 投资于结构化知识库与规则引擎的建设；
3. 将可追溯性与可审计性作为系统设计的一等公民；
4. 在交互设计中明确人机责任边界。

医疗AI的价值不在于替代人类判断，而在于以更高效、更一致的方式辅助人类做出更好的判断。实现这一价值的前提，是技术系统本身具备足够的可靠性、透明度和可控性。这既是工程挑战，也是技术伦理的必然要求。