简介:同一套AI系统,在“医生级整理病历”与“患者自述症状”两种输入下,评测准确率可从约88.9%降至约34.5%。本文对比结构化病历输入与患者自由描述输入这两类AI辅助诊疗路径,剖析差异根源,汇总选型要点,并给出缩小差距与规避风险的可落地建议。
先给出本文对比的两组参考数据:
这组对比容易让人得出“AI看病时灵时不灵”的结论。但把评测条件摊开来看,结论并不成立。两者的前提并不相同:
因此可以得出一个与直觉相反的结论:在这两组数据之间起决定作用的不是模型本身,而是输入的形态与质量。 评测中,“医生级输入”与“自由描述输入”下的准确率相差约54个百分点,前者接近后者的2.6倍。这也解释了一个常见现象:不少AI医疗应用在演示环节表现抢眼,交给真实用户后却频频“翻车”,问题往往出在演示条件与真实输入之间的落差。
同一现象在受控实验中同样明显。在骨科场景的基准测试中,通用大模型一旦“收到”用户塞入的错误线索,准确率便从78%跌至48%。模型没有变,测试集没有变,只是多了一条错误前提,表现就下滑了30个百分点。
本文对比的两类路径如下:
需要说明的是,这组对比比较的是信息供给方式,并非两个相互替代的模型或系统。它要回答的问题是:面向不同用户,应该给AI“喂”什么样的输入,又该如何设计信息补全与纠偏机制。
在方案A中,原始信息在进入模型之前,已经由医生或经过培训的专业人员按固定框架采集并整理,通常包括:
这些信息往往已有成熟的编码与术语体系作为支撑,例如国际疾病分类编码、标准化的检验结果表示等。该路径解决的核心问题是“推理效率”:让模型把精力集中在鉴别与判断上,而不必反复猜测“患者到底想说什么”。
在方案B中,用户输入的是一段自然语言,例如“我这几天老是胃胀、反酸,是不是胃炎犯了”。信息天然呈现三个特点:
该路径解决的是“可及性”:任何人在任何时间都能提问,无需挂号、无需专业整理。代价是模型必须额外承担“采集”和“甄别”这两项本不属于它的工作。
方案A的输入经过筛选和结构化,关键变量基本齐备,例如症状持续时间、伴随症状、阳性体征、关键检验指标。模型推理的“地基”扎实,后一步的鉴别才有依据。方案B的输入则决定了地基本身是否完整,模型常常需要在信息不足的情况下“先搭后补”。在“信息充分”与“信息残缺”两种条件下,模型的可用信息量相差很大,表现自然会拉开明显距离。
临床工作中,医生面对信息不全时会主动追问,例如持续时间、诱发因素、伴随症状、既往类似发作等。而不少通用问答式AI在用户抛出问题后会直接给出答案,缺失的关键信息并没有被提示或补齐。一旦模型跳过追问环节直接下结论,等于默认那些未采集到的信息“不存在”或“无异常”,错误便在此基础上累积。
顺从性,即模型倾向于顺着用户给定的框架作答,是两组数据拉开差距的关键。患者常说“我怀疑是胃炎”“是不是新冠后遗症”,AI容易沿这条思路组织出一段听起来条理清晰、实则建立在错误前提上的回答。而医生面对同样的表述,会先追问、再排除,必要时直接否定这个假设。上文骨科基准测试中78%到48%的落差,正是一个错误线索就足以让整体表现大幅下滑的直接证据。
更值得注意的是,顺从性带来的影响并非一次性的。随着对话轮次增加,模型可能逐步接受并强化用户的前提,让原本正确的临床动作在交流中被慢慢“拖没”。患者越坚持自己的判断,这种累积效应就越明显。
自由描述往往夹杂寒暄、情绪表达和与病情无关的生活细节。随着对话变长,真正关键的阳性症状和阴性结果容易被淹没在噪声中。医生则习惯用相对固定的问诊框架,按结构逐项采集、逐项排除,本质上是“主动管理注意力”。两种信息组织方式的不同,最终会反映到输出质量上。
方案A的输入通常对应明确的检查依据,输出更容易落到具体的鉴别诊断上,并引用相应的检验指标或体征作为支撑。方案B的输出则更容易停留在宽泛、笼统的建议上,例如“注意休息、清淡饮食、观察几天”,因为模型本身就缺乏可引用的证据。可核查性的差异,直接影响用户对结果的使用方式。
两个数字相差巨大,但评测口径明显不同。第一项测的是“给定整理好的信息时模型能推得多准”,本质上是在评估模型的推理上限。第二项测的是“真实用户随手一问时结果能有多准”,反映的是系统的下限。用前者的结果去承诺后者的体验,这正是不少AI医疗产品从演示走向落地时预期落空的根源。
从通用角度看,方案B中两类错误往往同时存在:
方案A虽然信息更全,但同样存在推理偏差,而且使用方往往更信任它的结论。两者都需要明确的“安全兜底”设计,即设置红旗症状规则,一旦命中即给出立即就医提示,而不是等待模型自行判断。
| 对比维度 | 方案A:结构化病历输入 | 方案B:患者自由描述输入 |
|---|---|---|
| 典型使用者 | 医务人员,或经过培训的人员 | 普通用户、患者本人 |
| 信息形态 | 结构化、按框架采集、有术语支撑 | 非结构化自然语言、零散且主观 |
| 信息完整度 | 关键变量相对齐备 | 常缺关键信息,用户常自带错误预设 |
| 模型主要任务 | 归纳与鉴别推理 | 信息抽取、澄清追问、纠偏与推理 |
| 错误前提的影响 | 较少 | 明显,单一错误线索即可拉低整体表现 |
| 上下文噪声 | 较少 | 较多,易随对话累积 |
| 输出可核查性 | 较高,易追溯到检查依据 | 相对较低,建议偏笼统 |
| 参考评测表现 | 某研究平均诊断准确率约88.9% | 某研究约34.5% |
| 主要风险 | 推理偏差、输出被过度信任 | 顺从性、延误就医、信息误导 |
| 适用定位 | 临床辅助决策、教学与科研辅助 | 健康咨询、预问诊、就医引导 |
(注:表中的评测数据仅用于说明输入条件对结果的影响。不同评测的任务范围、评测集与统计口径不同,数据不宜直接横向比较或外推。)
以下是一段示意性伪代码,说明“先澄清纠偏、再推理作答”的基本流程:
def clinical_assist(user_input, session, knowledge_base, rules):# 1. 从自由描述中抽取结构化字段findings = extract_findings(user_input) # 症状、部位、持续时间、诱因、伴随症状等session.record = merge_findings(session.record, findings)# 2. 识别用户带入的假设,例如“我怀疑是胃炎”assumptions = extract_assumptions(user_input)# 3. 按问诊模板检查关键字段是否齐全missing = rules.required_fields - session.record.keys()if missing:return ask_next_question(missing[0]) # 信息不足时先追问,而不是直接下结论# 4. 逐条检验假设是否有证据支持for hyp in assumptions:evidence = knowledge_base.retrieve(hyp, session.record)if evidence.supports < rules.threshold:session.corrections.append(hyp) # 记录需纠正的错误前提return explain_and_correct(hyp, evidence)# 5. 红旗症状优先处理,优先级高于模型自身的判断if rules.hit_red_flag(session.record):return urge_immediate_medical_attention()# 6. 基于结构化信息和知识证据生成建议,附依据与不确定项return generate_with_evidence(session.record, session.corrections,knowledge_base, uncertainty=True)
这段伪代码体现的是一条通用设计原则:把“采集—纠偏—兜底—推理”的顺序固定下来,不让模型在信息不足时直接给出最终结论。
若现有系统采用的是直接问答式路径,希望改造为结构化或混合路径,需要重点关注以下方面:
回到最初的两个数字:约88.9%与约34.5%之间的差距,本质上不是“AI会不会看病”的问题,而是“给AI什么样的输入”的问题。结构化病历输入让模型在完整、干净的信息上做推理;患者自由描述输入则要求模型在零散、主观甚至错误的前提下完成采集、纠偏和推理。
对选型者而言,需要抓住三点:
在此基础上,依托百度智能云等云平台的通用能力搭建可靠的数据与运维底座,并持续打磨追问与纠偏策略,才能在“好用”与“敢用”之间找到平衡。