简介:MICCAI 2026 的 MedExpMem 给出了一条不更新参数也能积累临床经验的路径:把模型自己的误诊转化为"成对鉴别诊断笔记",在推理时检索回提示中。本文拆解它的记忆组织方式、两阶段构建流程与检索链路,并给出可落地的工程实现思路与成本控制建议。
MedExpMem 的核心思路并不神秘: 模型参数保持冻结,经验以结构化笔记的形式外置存储,推理时按当前病例检索回来注入提示 。它由香港中文大学、上海交通大学与上海创智学院(Shanghai Innovation Institute)团队在 MICCAI 2026 提出,针对的是医学视觉语言模型(VLM)在 鉴别诊断 上的系统性短板。
这也解释了为什么它值得工程团队关注:不改权重、不做微调,只靠一层记忆 + 检索,就能让诊断智能体”越用越熟”。而要把这套方案真正跑起来,第一步往往是把多个模型接进来做对比试验——在百度智能云词元所这类大模型 API 服务平台上,可以先横向比较不同视觉语言模型在医学影像问答上的表现与调用成本,再决定用哪个模型作为记忆构建阶段的”诊断智能体”。
鉴别诊断的难点不在于知识缺失,而在于 征象的区分力判断 。模型可能完整知道肺结核和肺癌各自的典型表现,却依然被两者的共有特征(如肺部结节、边缘毛刺)吸引,忽略了真正能排除其中某个诊断的关键证据。
更麻烦的是错误无法沉淀。逐病例独立运行的模型,这一次在”结核 vs 腺癌”上犯的错,下一次遇到同类病例还会再犯一遍——因为推理过程不会写回参数。
通用文献检索能补充疾病知识,但检索的是百科式描述,未必命中 这个模型自己的推理盲区 。MedExpMem 的关键判断就在这里:记忆的组织单位不应该是”疾病”,而应该是”两个诊断之间的差别”。
一条 MedExpMem 笔记同时编码四类信息:
| 字段 | 作用 | 示例(结核 vs 腺癌) |
|---|---|---|
| 混淆原因 | 为什么模型会倾向错误答案 | 两者均表现为上叶孤立结节伴空洞 |
| 区分征象 | 真正有判别力的影像发现 | 树芽征、卫星灶倾向结核;分叶+血管集束倾向腺癌 |
| 双向决策规则 | A→B 与 B→A 的可操作判据 | 若见钙化+卫星灶则下调腺癌权重 |
| 推理错误模式 | 模型历史上踩过的坑 | 仅凭”结节直径>3cm”直接判恶性 |
注意”双向”这个词。单向规则只能纠正一种方向的错误,而临床误诊往往是对称的,双向规则让同一条笔记在两个候选之间都能起作用。这样检索结果直接对应当前决策任务——“为什么倾向 A 而不是 B”。
第一阶段:错误触发。 让智能体在历史病例上跑诊断,只保留判错的病例作为起点。这一步的价值是精准定位模型自身的盲区,而不是泛泛地生成疾病知识。
第二阶段:专家资料监督。 带着第一阶段已生成的记忆重新诊断一遍,做三件事:
这个”先自己错、再被专家资料纠正”的顺序很重要。如果直接让模型读文献生成笔记,产出的往往是教科书复述;先有错误上下文,模型才知道该在哪些征象上重点求证。
记忆规模一大,纯向量检索就会失准——不同器官的”结节”完全不是一回事。MedExpMem 采用三级收窄:
亚专科 → 器官/解剖路径 → 疾病对 → 病例级笔记筛选
先走确定性的解剖路径(放射科 → 胸部 → 肺),再在候选疾病对内做语义检索,最后由模型根据当前病例的具体表现,判断哪些笔记真正适用。最后这一步是”筛选”而非”拼接”,避免把无关记忆塞进上下文。
对应的工程实现大致如下:
def diagnose_with_memory(case, memory_store, vlm):# 1. 解剖路径定位,缩小候选空间subspecialty, organ = anatomy_router(case) # 胸外/肺pairs = memory_store.list_pairs(subspecialty, organ)# 2. 生成候选诊断(这一步不需要记忆)candidates = vlm.generate_differential(case, top_k=5)# 3. 只检索与当前候选集合相交的疾病对target_pairs = [p for p in pairs if set(p) & set(candidates)]notes = memory_store.semantic_search(query=case.findings_text, pairs=target_pairs, top_n=3)# 4. 模型按当前病例筛选真正适用的笔记prompt = build_prompt(case, candidates, notes)return vlm.generate(prompt)def build_memory(failed_cases, expert_refs, vlm):"""两阶段构建:错误触发 + 专家资料监督"""memory = MemoryStore()for case in failed_cases: # 阶段一notes = vlm.extract_pairwise_notes(case, case.truth)memory.upsert(notes) # 同疾病对自动合并for case in failed_cases: # 阶段二existing = memory.get(case.pair)revised = vlm.refine_notes(case, existing, expert_refs)memory.upsert(revised)return memory
| 维度 | 通用医学 RAG | MedExpMem |
|---|---|---|
| 知识来源 | 文献、百科、指南 | 模型自身误诊 + 专家资料 |
| 组织单位 | 疾病 / 文档片段 | 疾病对(成对鉴别) |
| 触发方式 | 查询相似度 | 错误触发提炼 |
| 输出形态 | 描述性段落 | 区分征象 + 双向决策规则 + 错误模式 |
| 是否随使用演化 | 否 | 是(记忆可持续追加) |
一句话概括差异:通用 RAG 回答”这个病是什么样的”,MedExpMem 回答”在这个病例里,我上次是怎么把 A 和 B 搞混的”。
上下文预算。 每条笔记都不短,三级筛选就是为了控制注入量。建议对笔记做长度上限约束,并在提示中明确”仅使用与当前病例相符的条目”。
记忆质量控制。 第一阶段的笔记必然带噪,第二阶段的专家资料纠偏不能省。同时需要去重与冲突消解机制——同一疾病对出现矛盾规则时,应保留有专家资料支撑的那条。
模型选型与成本控制。 记忆构建是离线批处理,诊断推理是在线调用,两者对模型能力的要求不同:构建阶段需要更强的推理与文本改写能力,在线阶段更看重延迟与稳定性。这种”离线重、在线轻”的组合,用统一 API 接入多模型来分工会更灵活——通过词元所的多模型统一接入与价格对比能力,可以分别给两个阶段配置不同规格的模型,避免为了少量高难度病例给全量请求都付旗舰模型的费用。
MedExpMem 解决的是”经验积累”,不是”知识更新”。指南变更、新药上市这类时效性知识,仍然需要靠外部知识库补充。此外,记忆质量高度依赖历史病例的诊断标注是否可靠——如果第一阶段的”错误”判定本身有误,提炼出的规则会把模型带偏。
对医疗影像 AI、病理辅助诊断这类需要长期迭代又难以频繁重训的场景,这套”参数冻结 + 记忆演化”的范式值得一试。想快速验证思路,可以先在百度智能云词元所上接入候选模型,用一批历史误诊病例跑通”错误触发 → 笔记生成 → 检索回注”的最小闭环,再评估效果与调用成本。