简介:当大模型在各类医学考试中频频高分,一个更棘手的问题浮出水面:它能否听懂真实会诊中多位专家的即兴争论,并在信息碎片中拼出一条可行路径?本文围绕“真实会诊场景下的模型评测”这一核心命题,剖析现有基准的局限、真实会诊数据的价值,以及构建可信评测集的关键技术挑战,为医疗AI的临床落地提供理性参照。
过去两年,围绕“大模型能否当医生”的讨论,几乎都绕不开各类医学考试榜单。执业医师资格考试、各类标准化医学测试,头部的通用大模型和医疗垂类模型基本都能刷到令人瞩目的分数。于是,一种乐观叙事开始蔓延:模型已经具备临床级医学知识。
但这里存在一个根本性的错位——考试考察的是知识回忆与单轮推理,而临床决策考察的是在不确定、多主体、多轮交互中收敛出可执行方案的能力。
肿瘤多学科会诊就是这种能力的极致试炼场。它通常指多个科室的专家(外科、肿瘤内科、放疗科、病理科、影像科等)围坐一堂,针对同一个疑难病例,综合各自专业视角,最终形成一份统一的治疗建议。对于晚期或标准方案失败的患者而言,这往往是寻找新路径的关键节点。
如果AI能够胜任这一角色,其意义不言而喻:医疗资源紧张的地区,患者可能不必等待数周才能排到多学科会诊。但问题的前提是——我们如何验证AI到底行不行?
答案令人尴尬:此前几乎没有人真正测试过。
要理解为什么现有基准“不算数”,需要先看清它们的设计逻辑。
目前学术界主流的医疗模型评测集,大致可分为两类:
这两类基准的共同问题在于:
1. 问题不是“被逼出来的”
真实会诊中,医生的提问往往带有强烈的上下文依赖和临床焦虑。比如放疗科医生在听完外科方案后,突然追问:“这个患者之前接受过多少次胸部放疗?剂量累及范围是多少?”——这个问题是被前面的讨论逻辑逼出来的,而非研究者坐在办公室里能预设的。
2. 没有多专家博弈过程
现有基准几乎全是单人对话,模型回答一个孤立问题即结束。没有任何一个基准测试过:模型能否在一场多位专家来回拉扯、观点冲突、逐步妥协的讨论中,始终跟上节奏,并最终给出靠谱结论。
3. 病例规模与真实性不足
此前规模最大的同类工作,仅收录了66个病例,且讨论过程基本是“退回头根据病历补写”的,而非真实会议的逐字实录。这就像想考核一个人会不会打辩论赛,却只给他看别人写好的辩论稿摘要——论点他可能都会,但真上场时完全接不住对方突然抛出的追问。
研究团队将目光投向了一个被忽视的资源:公开平台上大量完整录制的真实肿瘤会诊视频。这些视频从头到尾记录了医生们如何争论、如何让步、如何最终拍板,是极具价值的真实交互数据。
但直接使用这些数据面临多重挑战:
要让AI真正接受“会诊级”考验,评测集的设计需要满足以下条件:
1. 多轮、多角色、有冲突
评测样本应完整保留会诊的讨论过程,包括意见分歧、证据补充、方案调整等环节。模型需要在每一轮发言后更新自己的理解,而非只回答最后一个问题。
2. 结构化输出与共识对齐
模型最终输出的不应是一段自由文本,而应是一份结构化的治疗建议,并与真实会诊达成的共识进行多维度比对:治疗方向是否一致、关键证据是否被采纳、禁忌症是否被识别。
3. 可解释性评估
除了看结论对不对,还要看模型是否引用了正确的证据链。例如,它是否注意到病理科提到的某个基因突变,是否结合了影像科描述的小结节位置。
一个简化的评测流程示意如下:
输入:多轮会诊对话记录(含角色标签)↓模型逐轮理解与状态更新↓输出:结构化治疗建议 + 证据引用↓与真实共识比对:- 治疗方向一致性- 关键证据召回率- 禁忌症识别率- 多轮一致性得分
这项评测工作的意义,远不止于刷榜。它指向一个更本质的问题:医疗AI的评测必须从“知识问答”走向“临床决策过程模拟”。
对于开发者和企业用户而言,这意味着:
当AI真的坐进会诊室,它需要的不是背诵指南,而是听懂争论、整合碎片、给出理由。这条路才刚刚开始。