简介:医疗大模型在各类执业医师资格考试中屡获高分,但能否在真实肿瘤多学科会诊(MDT)中听懂多方争论、跟上讨论节奏并给出可靠结论,长期缺乏验证。本文剖析静态考题类基准的结构性缺陷,梳理基于真实会诊录像构建评测基准的技术路线与关键挑战,并给出医疗AI落地的实践启示。
一、考试高分,不等于会诊室里的胜任力
2024年前后,“大模型能不能当医生”这个问题,几乎被各种考试题刷了一遍:国内外执业医师类资格考试、医学知识问答集,主流大模型基本都能拿到不错的分数。从表面上看,“AI通过医师考试”似乎已经从新闻变成了旧闻。
但考试考察的是静态知识检索:给一段题干,选一个正确答案。真实临床中最难、也最考验综合能力的场景,几乎没被真正测过——一群来自不同科室的医生围坐在一起,为一个疑难病例争论二十分钟,中途不断有人插话、追问、纠正,最后达成一个共同的治疗决策。
这个场景有一个正式的名字:肿瘤多学科会诊,英文缩写MDT(Multidisciplinary Tumor Board)。
二、MDT为什么是医疗AI的“终极考场”
MDT指外科、肿瘤内科、放疗科、病理科、影像科等多个科室的专家,围绕同一个病人展开讨论,综合各自专业意见后形成治疗方案的会议形式。它的重要性可以从三个层面理解。
第一,它是很多癌症病人的“最后一道关卡”。当标准治疗方案逐一试过、效果不佳时,MDT的价值在于把不同科室掌握的碎片信息拼起来:影像科医生注意到的一个小结节,病理科测出的一个基因突变,放疗科记得的一次既往照射剂量——单看每条信息都不足以改变决策,拼在一起却可能指出生路。
第二,它的信息流是高度动态的。会诊中医生提出的问题往往是即兴的,带着具体的临床焦虑和上下文依赖。比如放疗科医生突然问一句“这个病人之前累计照过多少剂量”,这个问题是被前面某位医生的发言“逼”出来的,而不是预先设计好的。
第三,它对资源紧张地区意义重大。如果AI能够胜任会诊辅助角色,意味着医疗资源不足地区的病人,不必等上几周才能排上专家会诊,至少可以先获得一份高质量的讨论纪要和遗漏提示。
三、现有基准的三个结构性缺陷
目前学术界评估医疗大模型的主流基准,大部分并非来自真实临床场景,大致可以分为三类,各有各的问题。
考试题库类。直接使用医师资格考试题目,考察的是知识记忆与单步推理。模型答对“某病的首选化疗方案”,不代表它能在讨论中捕捉到“这个病人三个月前刚做过一次局部治疗”这类关键上下文。
人工编写对话类。一些基准由研究者根据病例描述人工编写问题。这类数据看似合理,但问题是被“设计”出来的:真实会诊中的追问、打断、立场拉扯,坐在办公室里很难凭空还原。
病例回溯类。此前规模最大的同类工作,也只收录了数十个病例,且讨论过程大多是研究者根据病历“倒推”补写的,并非真实会议实录。
打个比方:这就像想考核一个人会不会打辩论赛,但给他的训练材料全是别人整理好的辩论稿摘要。他可能论点都会背,可真上了场,完全接不住对方突然抛出的追问。更关键的是,几乎没有基准测试过模型能否在一场多专家来回拉扯的讨论中撑到最后,并给出一个靠谱的结论。
四、从真实会诊录像到可评测基准
要填补这个空缺,核心思路是:用真实世界的会诊记录作为评测材料。事实上,公开视频平台上沉淀了大量完整录制的真实肿瘤会诊视频——从开场汇报病例,到各科医生交锋、让步,再到最后拍板,全程实录。这是一座此前没人系统性挖掘的数据富矿。
把原始录像变成可评测的基准,大致需要经过以下处理流水线:
语音转写与说话人分离。将音频转成文字,同时标注“谁在什么时刻说了什么”。会诊室里多人抢话、交叉打断,说话人分离的精度直接决定后续一切标注的质量。
术语对齐与脱敏。医学专有名词、药物剂量、检查数值的转写错误需要校正;病人姓名、日期等隐私信息必须系统性脱敏,这是数据合规的底线。
结构化标注。为每段讨论打上阶段标签(病例汇报、意见征询、争论、决策)、观点归属(哪个科室、什么立场)以及关键决策点。
在此之上,可以设计出区别于传统问答的评测任务,示意如下:
# 评测流程示意(伪代码)for case in real_mdt_recordings:transcript = asr_with_speaker_diarization(case.audio) # 转写+说话人分离transcript = deidentify(term_align(transcript)) # 术语校正+脱敏# 任务1:上下文追踪——在讨论中途插入提问,考察模型能否接住上下文answer = llm.answer(mid_discussion_question, transcript[:t])score_ctx = judge(answer, reference=annotated_decision_point)# 任务2:观点整合——汇总各科室立场,生成结构化摘要summary = llm.summarize_positions(transcript)score_sum = judge(summary, reference=expert_annotation)# 任务3:共识复述——复述最终治疗方案,并与实录结论比对plan = llm.finalize_plan(transcript)score_plan = judge(plan, reference=case.final_decision)
评测指标也要相应升级:不只是“最终答案对不对”,还要看过程性指标,比如回答是否引用了讨论中真实出现过的证据、是否编造了没人提过的信息(幻觉抑制)、是否遗漏了某个科室的关键反对意见。
五、真实场景评测的四个技术难点
多方对话建模。模型需要理解“说话人”不只是文本前缀,而是带着科室立场与知识背景的角色:外科医生倾向手术根治,放疗科医生会权衡既往照射剂量,这种立场差异是理解争论的前提。
长上下文。一场会诊动辄三四十分钟,转写后可达数万token,模型需要在超长上下文中保持对早期关键信息的敏感度,而不是“听到后面忘了前面”。
转写噪声传播。语音识别在专业术语上的错误会向下游传播,评测时需要区分“模型没听懂”与“转写本身错了”,避免误判。
评价的主观性。医学讨论“谁更有道理”往往没有唯一标准答案,需要多位专家独立标注并计算一致性,标注成本不低。
六、对医疗AI落地的三点启示
第一,定位是辅助而非替代。即便模型能在评测中跟上讨论节奏,其在真实会诊中的合理角色仍是“旁听生”:实时生成讨论纪要、提示被遗漏的检查与指南条目、会后整理各科立场清单。最终决策权必须留在医生手里。
第二,基础设施可以复用通用云能力。搭建这类评测与辅助系统,并不需要从零造轮子。以百度智能云为代表的云平台,普遍提供语音识别、大模型服务、对象存储、数据脱敏与日志审计等通用能力,团队可以把工程精力集中在会诊数据的标注体系与评测指标设计上——这恰恰是决定成败的环节。
第三,评测驱动才可能可信。医疗AI要走出演示阶段,必须经历真实场景基准的检验。用真实会诊记录构建评测集,虽然成本高、合规门槛高,却是通往可信医疗AI绕不开的一步。
七、结语
从“考试高分”到“听懂会诊室里的争论”,医疗大模型评测正在从静态知识走向动态临床交互。真实MDT场景的价值在于,它同时拷问模型的上下文追踪、多角色理解、证据整合与幻觉抑制能力——这些恰恰是考试题永远考不出来的。当评测材料从考卷变成真实的会诊实录,我们才算真正开始回答那个最初的问题:AI坐进会诊室,它到底能不能听懂医生们在争论什么。