医学AI科研智能体评测：维度、方法与边界

$$## 一、评测概述：评测什么、为谁而评

本文的评测对象是一类面向医学科研全流程的垂类AI系统。这类系统的典型能力主张可以抽象为四条：多智能体编队并行作业、复杂多表数据自动治理、长链路自动成稿（从选题到图表与全文）、绑定旗舰级基础模型作为推理底座。为便于中立讨论，下文统一称为“被测系统”。

需要先说清楚评测的立场：原始材料提供的是能力主张与自述场景，其中包含样本规模、重抽样次数、加权方法、成稿字数等信息。这些内容在本评测中只能作为待验证命题，而不是已成立的结论。本文不提供任何实测分数、吞吐或准确率数值，只给出评测目标、维度、方法、判读标准与适用边界。

适用读者：

• 临床研究者、医学硕博、科室课题负责人：判断能否进入自己的真实课题流程；
• 科研管理与信息化部门：评估数据出域、合规与审计要求；
• AI应用工程师与架构师：评估编排引擎、工具调用、并发与可观测性的工程质量；
• 技术决策者：在预算与人力约束下决定“试点、部分替代还是继续人工”。

评测的核心不是回答“好不好”，而是回答三个递进问题：能力是否可用、流程是否可控、成果是否可交付并承担责任。

二、评测目标：本次要回答的六个问题

编号	评测问题	不回答它的后果
Q1	从原始数据到成稿的链路是否真正闭合，还是仅有单点能力拼接	采购后仍需大量人工搬运中间产物
Q2	统计口径、变量定义、加权与重抽样是否正确	结论错误但形式完整，危害高于“跑不通”
Q3	大规模多表、宽表、跨表ID对齐下的工程表现	小数据演示流畅，真实数据直接失败
Q4	长流程下的稳定性：上下文衰减、超时、断点续跑	跑到第80%失败后无法恢复，重复消耗算力
Q5	数据合规、权限隔离、审计与引用真实性	合规风险与AI幻觉引用导致稿件不可投
Q6	单位课题的资源、时间与人工复核成本	看似降本，实则把成本转移到复核环节

三、把“能力主张”翻译成“可验证命题”

评测的第一步是把营销语言转为可观测指标。翻译表如下：

能力主张	技术命题	可验证指标	验证方式
多智能体编队并发	多角色agent任务拆分、并行执行与结果合并	并发成功率、任务合并冲突率、单任务端到端时延分布	并发阶梯压测＋中间产物审计
复杂多表治理	跨表主键识别、粒度对齐、抽样权重与合并规则	合并后行数/唯一键正确率、权重使用正确率	构造含已知真值的小数据集
自动选题与文献雷达	检索相关性、去重、题录真实性	主题相关性、重复率、引用可核验率	抽样人工核验权威书目记录
自动统计建模与成稿	模型设定、诊断、敏感性分析、图表规范	估计值与基线一致性、诊断项覆盖度、图表规范符合度	与人工流程做双盲对照
依托旗舰模型底座	模型能力对结果的影响与漂移	固定与升级版本的结果差异	版本对照实验

四、评测维度设计：十二个观察面与判读口径

1）功能完整性。 观察链路是否覆盖：数据导入与字段解析 → 变量字典与纳排 → 描述性统计 → 模型拟合与诊断 → 敏感性分析 → 图表 → 全文撰写 → 参考文献 → 投稿材料。判读要点是“断点在哪里”：任何需要人工导出再手工重灌的环节，都意味着自动化程度被高估。

2）数据治理与实体对齐。 这是医学科研最容易出错也最少被演示的部分。重点验证：多表合并后是否保持正确粒度（一人一行的表与一人多行的就诊表混连极易产生扇出膨胀）、抽样权重与复杂抽样结构是否被正确携带、缺失值机制是否被误当成随机缺失直接删除、单位与编码是否被自动识别（例如性别、分期、分级的编码字典）。

3）统计方法与可复现性。 关注模型形式与诊断是否成对出现：非线性关系是否给出样条或分段设定及检验、加权方案是否说明稳定化处理与截断规则、重抽样是否固定随机种子、多重比较是否校正。判读标准是同一输入、同一随机种子、同一模型版本重复运行，关键估计值应落在预设容差内；若不可复现，则任何“自动成稿”都不具备可审计性。

4）性能与并发。 不追求绝对数值，而看趋势与拐点：并发度从1逐级提升到2、5、10时，成功率是否下降、排队时间是否非线性上升、错误是否集中出现。性能差异通常来自编排调度策略、工具调用重试机制、存储写入竞争、以及底座模型的限流与超时策略。

5）稳定性与容错。 用故障注入验证：依赖数据库连接中断、单表结构变更、样本量不足、超长文献列表、模型返回被截断、配额受限。观察系统是否有幂等重试、检查点续跑、失败隔离，还是整链回滚。

6）准确性与结果有效性。 必须建立“黄金标准集”：用小规模、真值已知或可人工精确复算的数据（例如可从原始记录手工算出的OR/HR及置信区间）驱动评测，而不是仅凭“结果看起来合理”判断。

7）易用性与人工介入点。 评估接入步骤、配置项数量、错误信息可读性、是否提供可解释的推理与操作日志，以及能否在关键节点强制人工确认。

8）兼容性。 对常见数据格式（分隔文本、表格文件、关系型导出）、编码方式、变量命名规范的适配；能否接入现有统计与绘图流程的输出。

9）安全与合规。 患者级数据脱敏、传输与存储加密、按项目隔离、最小权限、导出管控、完整审计日志。医学数据通常受伦理审批与数据使用协议约束，能否在不出域环境下运行，往往是一票否决项。

10）可观测性。 是否记录每次模型调用、每次工具调用、每个中间数据集的版本与哈希；能否从最终稿件回溯到具体变量与代码路径。

11）可维护性。 版本升级是否变更结果口径、提示词与流程定义是否可版本化、故障定位平均耗时、容量规划方式。

12）成本结构。 分成四类记账：算力与推理成本、存储与数据治理成本、人工复核成本、迁移与培训成本。只算前两项会系统性低估真实投入。

五、评测环境与前提设定

• 数据分层：构造小（约万行级）、中（数万行级、5张以上表）、大（十万行级、含高基数文本字段）三档脱敏样本；每档均包含一次真实的跨表主键对齐任务与一次复杂抽样权重任务。
• 环境控制：CPU、内存、存储类型、并发连接数、网络带宽固定；评测期间不做规格变更。
• 基线建立：同一课题由人工在通用统计环境中完成一遍，记录耗时、模型设定与结果，作为对照基线。
• 调用方式：区分交互式与批处理两条路径分别评测，二者失败模式不同。
• 合规前提：仅使用已获授权或公开可再使用的数据；不使用可识别个人身份的信息。

六、评测执行流程与示意性框架

分六个阶段推进，前一阶段不通过则不进入下一阶段，避免在错误结果上继续消耗算力。

P0 环境固化 → P1 冒烟功能 → P2 数据治理正确性
→ P3 统计黄金集对照 → P4 并发与长时稳定性 → P5 安全合规与成本

通用评测框架伪代码（不依赖任何特定厂商工具）：

SCALES = ["S", "M", "L"]
CONCURRENCY = [1, 2, 5, 10]
FIXED_SEED = 20260902
for scale in SCALES:
    for c in CONCURRENCY:
        run_id = f"{scale}-c{c}-{FIXED_SEED}"
        pipeline = load_pipeline(version="pinned", seed=FIXED_SEED)
        pipeline.set_checkpoint(enabled=True)
        result = pipeline.run(dataset=load(sanitized(scale)), concurrency=c)
        record(run_id,
               success=result.completed_stages / result.total_stages,
               join_rowcount_delta=result.join_rowcount_delta,   # 应为0
               weight_check=result.weight_mean_ratio,            # 应≈1
               estimate_delta_vs_baseline=compare(result, baseline_human),
               retries=result.retry_count,
               p95_latency=result.p95_stage_latency,
               resume_ok=test_resume_from(last_checkpoint),
               citations_verifiable=verify_all(result.references))

三项关键判读脚本化检查：

1. 合并正确性：合并前后主键唯一数与总量应满足可推导的守恒关系，出现非预期膨胀即判定失败。
2. 可复现性：固定种子重复5次，关键估计值波动应小于预设容差；波动大说明存在未受控随机源。
3. 引用核验：逐条核对参考文献在权威书目数据库中真实存在且题录一致；出现不可核验条目即视为幻觉引用。

七、结果解读：什么算强，什么必须警惕

• 正确性是门槛而非加分项。 一次抽样权重误用或粒度错误，会让整篇稿件的结论失效。功能再丰富也不能抵消。
• 引用幻觉应零容忍。 它不需要统计检验即可被发现，一旦被审稿人识别，会直接损害研究者信誉。
• “自动成稿”与“可投稿”之间隔着责任。 生成流畅的文本不等于研究设计合理；署名者对全部内容负责，AI使用需按目标期刊要求披露。
• 典型结果画像。 画像A：中小规模数据通过黄金集校验、引用可核验、失败可续跑——适合作为研究助理进入真实流程；画像B：功能齐全但黄金集偏差明显——适合做前期探索与代码草稿，不适合作为结论依据；画像C：合并或权重出现系统性错误——应立即停止在该数据域使用。
• “并发挖阳性”需要额外的学术风险提示。 大规模并行尝试大量变量组合会显著提高偶然显著的概率，评测时应专门检查系统是否默认进行多重比较校正、是否输出探索性与验证性分析的区分标记。缺少这一机制时，效率提升可能以假阳性风险为代价。

八、适用场景与关注重点

场景	优先关注的维度	主要风险
公开数据的回顾性研究、教学与预实验	统计正确性、可复现性	数据集自身选择偏倚
院内多源数据治理与变量标准化	实体对齐、字段字典、合规	数据出域与授权边界
系统综述与文献追踪	检索召回、去重、引用核验	检索偏倚与幻觉题录
统计分析代码与图表草稿生成	易用性、可观测性、导出兼容	代码未经复核直接复用
临床决策支持、监管提交材料	全流程可追溯与验证证据	不适用于当前此类系统

九、风险与限制

样本偏差（评测数据通常远小于真实课题）、环境差异（本地与云端资源不同会改变并发表现）、数据质量（脏数据下自动治理能力可能急剧下降）、依赖漂移（底座模型或流程定义升级后结果口径可能变化，需固定版本）、长期不确定性（长时运行的资源泄漏与状态腐化需以周为单位观察）、以及统计风险（多重比较、模型设定敏感性）。以上任何一项未被控制，评测结论都只能视为条件性结论。

十、选型与使用建议

1. 以一个小规模、有对照基线的真实课题做验证，而不是以演示效果做决策。
2. 要求系统输出完整中间产物：变量字典、合并日志、模型设定、种子、图表源码，可审计性应作为准入条件。
3. 固定模型版本、流程定义与提示词版本，并纳入课题记录。
4. 设定强制人工复核点：纳排标准、变量定义、模型形式、权重与截断、缺失处理、多重校正、图表与文字一致性。
5. 若评测或生产环境部署在公有云上，可按通用云资源类目核算成本，例如云服务器、容器平台、对象存储、数据库、日志与监控告警、身份认证与安全防护（如百度智能云提供的同类通用能力类目），重点是权限最小化与数据不出域的可验证配置。
6. 明确责任边界与AI使用披露策略，再决定是否将系统写入正式研究流程。

十一、总结

这类“多智能体＋自动化流水线”的医学垂类AI系统，真正值得评测的不是它能否产出漂亮稿件，而是三件事：跨表数据治理是否正确、统计过程是否可复现、全过程是否可审计。本文给出的十二维评测框架、六阶段执行流程与三项脚本化检查，可直接用于小规模验证课题。结论应保持条件化：在高并发、大规模多表场景中应重点验证调度稳定性与合并正确性；在数据合规要求高的场景中，应把数据不出域、权限隔离与审计日志作为前置门槛；无论何种场景，最终研究成果的准确性、合规性与署名责任，仍由研究者与机构承担。