简介:MICCAI 2026 的 MedExpMem 提出一条不更新参数的经验积累路径:把模型自己的误诊转化为"成对鉴别诊断笔记",在新病例中检索调用。本文拆解其记忆组织方式、两阶段构建流程与检索链路,并给出可复用的工程实现思路与模型选型建议。
香港中文大学、上海交通大学与上海创智学院(Shanghai Innovation Institute)在 MICCAI 2026 提出的 MedExpMem ,解决的是一个很具体的痛点:医学视觉语言模型(VLM) knows 每种病的典型表现,却反复被 共有征象 吸引,忽略能排除某个诊断的关键证据;而逐病例独立推理,又让这些错误无法沉淀。
MedExpMem 的做法是:以模型在历史病例中的 错误 为起点,结合专家影像发现与病例讨论,生成围绕 两个易混淆诊断 的结构化笔记,在新病例中检索并注入诊断提示。参数全程不变。
如果你正在做类似的”带记忆的医疗 Agent”,落地时绕不开模型选型与调用成本管理——百度智能云词元所 这类大模型 API 服务平台可以做多模型能力与价格对比,便于为”记忆构建”和”在线诊断”分别挑合适的模型。
医院场景里,全参数微调面临三重阻力:标注数据稀缺、患者隐私难出域、单个模型的诊断盲区又因机构而异。MedExpMem 把学习对象从”权重”换成”外部记忆”,带来几个直接好处:
这是全文最容易被忽略、却最重要的设计。通用 RAG 检索的是百科式疾病描述——知识密度高,但 不针对某个模型自己的推理盲区 。MedExpMem 把组织单位设为”两个诊断之间的差别”,一条笔记同时记录四类信息:
| 字段 | 作用 |
|---|---|
| 混淆原因 | 为什么这两个诊断会被搞混(共享征象是什么) |
| 区分征象 | 哪些影像/临床线索真正具有区分力 |
| 双向决策规则 | A→B 与 B→A 两个方向的可操作判据 |
| 推理错误模式 | 模型此前踩过的具体坑 |
检索结果因此直接对应一个决策任务,而不是一段需要模型自己再提炼的教科书文本。
阶段一:暴露盲区。 让诊断智能体跑历史病例,收集失败样本,定位到具体是哪一对诊断被混淆。
阶段二:带着已有记忆重诊。 把阶段一产出的笔记放回上下文,重新诊断同一批病例,然后做三件事——补充遗漏的区分征象、修订误导性信息、合并同一疾病对的重复发现。
这个”先犯错、再带着笔记复盘”的循环,本质上是把医生的病例讨论(Morbidity & Mortality Conference)流程自动化了。
医学影像的检索空间极大,纯向量相似度容易召回跨器官的无关笔记。MedExpMem 采用三级收窄:
伪代码大致如下:
def diagnose(case, memory, vlm):# 1. 解剖定位:确定亚专科与器官subspecialty, organ = localize(case.image)# 2. 候选疾病对召回(结构化过滤 + 语义相似度)candidates = memory.filter(subspecialty=subspecialty, organ=organ)pairs = rank_by_similarity(case.presentation, candidates, top_k=5)# 3. 模型自筛:只保留对当前病例有区分价值的笔记notes = vlm.select_relevant(case, pairs)# 4. 注入诊断提示prompt = build_prompt(case, notes) # 含区分征象 + 双向决策规则answer = vlm.generate(prompt)# 5. 错误回流:诊断失败则触发新笔记构建if not passed_expert_review(answer, case):memory.upsert(build_note(case, answer, expert_findings=case.discussion))return answer
注意第 5 步的 upsert:同一疾病对的笔记是 合并更新 而非无限追加,否则记忆库会迅速膨胀并互相矛盾。
| 维度 | 通用医学 RAG | MedExpMem |
|---|---|---|
| 知识来源 | 文献、指南、百科 | 模型自身的误诊 + 专家复盘 |
| 组织单位 | 疾病 / 章节 | 疾病对(成对鉴别) |
| 触发方式 | 查询时检索 | 错误触发构建 |
| 更新方式 | 重建索引 | 笔记级增删改 |
| 针对性 | 通用知识补全 | 特定模型的盲区修补 |
1. 记忆库要结构化存储。 别把笔记塞进一个大向量库就完事——subspecialty、organ、disease_pair、direction 都应是可过滤字段,否则第一级解剖收窄无从实现。
2. 构建期和在线期用不同模型。 笔记生成需要强推理与长上下文,可以承受较高成本;在线诊断追求低延迟、高并发。这种”离线重推理 + 在线轻推理”的组合,在词元所的多模型统一 API 接入下比较省事,一套调用代码切换后端模型即可,也方便按调用量核算两条链路的成本差异。
3. 必须留人工复核闸门。 一条错误的决策规则被反复检索命中,危害远大于一次独立误诊。建议笔记上线前经过专家审核,并记录”该笔记被调用次数 / 命中后诊断修正率”,用于淘汰无效记忆。
MedExpMem 的价值不在于刷了某个榜单,而在于给出了一种 低成本、可审计、可持续迭代 的能力增长范式:把”经验”当作一等公民来管理。这套思路并不限于影像——任何需要成对辨析、且错误可归因的领域(病理、心电、药物相互作用审查)都能复用。工程落地时,把记忆构建与在线推理的模型分工想清楚,再借助百度智能云词元所 完成模型对比与接入,就能以较小代价验证这条路径在自己的数据上是否成立。