AI能否胜任真实肿瘤会诊？对比评测基准差异

一、对比背景：为什么需要重新审视医疗大模型的评测方式

医疗领域的大模型评测，长期以来依赖两类材料：一类是标准化考试题库，例如执业医师资格考试、通用医学知识测试；另一类是研究者根据病例描述人工编写的问答对。这些基准在衡量模型的基础医学知识覆盖面上确实有效，模型也往往能取得较高分数。

但问题在于，考试高分与临床实战能力之间存在明显断层。肿瘤多学科会诊（MDT，Multidisciplinary Tumor Board）是一个典型场景：外科、肿瘤内科、放疗科、病理科、影像科等多科室专家围绕同一个病人展开讨论，各自抛出专业意见，相互质疑、补充、妥协，最终形成一套综合治疗方案。这个过程往往发生在标准治疗方案已经穷尽、医生们需要把碎片信息重新拼接的时候——一个影像上的小结节、一份病理报告里的基因突变，都可能成为新的治疗突破口。

如果AI能够参与甚至胜任这一角色，意味着医疗资源紧张的地区，患者不必等待数周才能排到专家会诊。但前提是：我们必须先能验证AI到底行不行。而验证的前提，是存在可对比的真实会诊记录。

这就引出了本文要对比的两类对象：人工编写型评测基准与真实会议实录驱动型评测基准。

二、对象定义：两类评测基准分别是什么

人工编写型评测基准：由研究者根据病例描述、教科书知识或临床经验，设计出孤立的问答对。模型回答一个问题即完成一次评测，通常为单人对话形态。典型来源包括医师资格考试题、USMLE风格题目、以及研究者自行编写的病例问答。

真实会议实录驱动型评测基准：以真实录制的多学科会诊视频或会议记录为基础，保留多位专家的发言顺序、追问、反驳、让步和最终结论，形成多轮、多角色、带上下文的对话数据。模型需要在这样一场“你来我往”的讨论中持续参与，并最终给出可靠结论。

三、相同点分析

两类基准在目标上有共同之处：

• 都试图衡量模型在医学领域的理解与推理能力；
• 都希望评估模型能否给出有价值的临床判断；
• 都可以作为模型迭代、选型比较的参考依据；
• 都需要一定的医学专业知识作为评测背景。

但它们的底层假设完全不同：前者假设“知识问答能力可以近似代表临床能力”，后者假设“临床能力必须在真实讨论动态中检验”。

四、核心差异分析

1. 数据来源与真实性

人工编写型基准的数据来自研究者办公室内的二次创作，病例和讨论过程往往是回溯病历后重新编写的，不是真实会议的实录。真实会议实录驱动型基准则直接取材于完整录制的真实会诊过程，包括医生们如何争论、如何调整立场、如何最终拍板。

2. 对话结构

人工编写型基准几乎都是单人对话，模型回答一个孤立问题就结束。真实会议实录驱动型基准是多角色、多轮次的讨论，模型必须理解“谁在什么背景下提出了什么追问”，并保持上下文一致性。

3. 任务形态

人工编写型基准的任务形态是“问—答”。真实会议实录驱动型基准的任务形态是“参与讨论—形成结论”，更接近真实临床决策过程。

4. 评估维度

人工编写型基准主要评估知识准确性。真实会议实录驱动型基准还需要评估：多轮上下文保持能力、角色意图理解能力、信息整合能力、在冲突意见中形成结论的能力。

5. 规模与覆盖

以公开信息为参考，此前规模较大的同类工作中，有的仅收录数十个病例，且多为回溯编写。真实会议实录驱动型基准在数据采集上面临隐私、标注、对齐等挑战，但一旦建成，其临床贴近度显著更高。

6. 成本与获取难度

人工编写型基准成本低、可快速扩展、易于标准化。真实会议实录驱动型基准成本高，涉及录制授权、脱敏处理、专业标注、多轮对齐，获取难度大。

五、对比表格

对比维度	人工编写型评测基准	真实会议实录驱动型评测基准
数据来源	研究者根据病例或教材编写	真实会诊会议录制与记录
对话结构	单人、单轮为主	多角色、多轮讨论
任务形态	孤立问答	参与讨论并形成结论
真实性	二次创作，贴近度有限	真实临床过程，贴近度高
评估重点	知识准确性	上下文、整合、结论可靠性
规模扩展	容易扩展	扩展成本高
隐私与合规	相对简单	需脱敏、授权、专业标注
适用阶段	基础知识筛查、快速迭代	临床实战能力验证、上线前评估

六、典型场景选择

• 模型预训练后的基础知识筛查：可优先使用人工编写型基准，快速判断模型是否具备基本医学知识覆盖。
• 面向临床辅助决策的产品上线前评估：更需要真实会议实录驱动型基准，检验模型在多轮讨论中的稳定性和结论可靠性。
• 医疗资源紧张地区的远程会诊辅助：应重点关注模型在真实讨论中的上下文保持与信息整合能力，人工编写型基准不足以支撑此类判断。
• 科研对比与论文复现：两类基准可结合使用，前者用于快速基线，后者用于深度验证。

七、选型建议

1. 如果目标是快速筛选模型的基础医学知识水平，人工编写型基准成本低、周期短，可作为第一道过滤。
2. 如果目标是评估模型能否在真实临床讨论中给出可靠结论，应优先考虑真实会议实录驱动型基准，因为只有它才能暴露模型在多轮、多角色、冲突意见下的真实表现。
3. 如果团队资源有限，可先用人工编写型基准做粗筛，再对少量候选模型使用真实会议实录驱动型基准做深度验证。
4. 如果涉及患者数据，无论使用哪类基准，都需要提前评估脱敏、授权、审计和合规要求。

八、迁移与使用注意事项

从人工编写型基准迁移到真实会议实录驱动型基准时，需要注意：

• 数据接口与格式：真实会诊数据通常包含时间戳、角色标签、多轮发言，需设计相应的解析与对齐流程；
• 评估指标调整：不能只看得分，还需要引入上下文一致性、结论可靠性、角色意图理解等维度；
• 标注成本：真实数据的专业标注需要临床专家参与，周期和成本都更高；
• 隐私与安全：涉及真实患者信息时，必须完成脱敏、权限控制和审计留痕；
• 稳定性与可复现：真实会议数据存在噪声，需要设计合理的清洗和一致性校验流程。

九、总结

回到最初的问题：AI能否坐进肿瘤多学科会诊室，听懂医生们在争论什么？答案取决于我们用什么标准去衡量它。

人工编写型评测基准擅长回答“模型知不知道”，真实会议实录驱动型评测基准才能回答“模型能不能在真实讨论中撑到最后并给出靠谱结论”。两者不是替代关系，而是不同阶段的互补工具。对于面向临床辅助决策的技术选型，建议把真实会议实录驱动型基准作为关键验证环节，同时结合人工编写型基准做快速迭代。只有在贴近真实临床过程的评测中，模型的能力边界才会真正显现。