一、评测概述：当模型跑分无法解释“为什么高”

在自动化科研能力评测领域，一个长期被忽视的方法论问题正在浮出水面：现有的许多评测基准，测的并不是它们宣称要测的东西。

以常见的自动化科研类基准为例，它们通常要求智能体完成修代码、写加速内核、解数学题等任务。在这些任务中，智能体可以同时调整训练框架、超参数、计算资源以及数据本身。这意味着，当模型 A 的得分高于模型 B 时，评测者无法判断优势来源——是 A 更懂数据，还是 A 用了更优的训练技巧，抑或是 A 单纯消耗了更多算力。

这一问题可以类比为两位厨师烹饪同一道菜：一位使用更昂贵的食材，一位使用更好的厨具，还有一位悄悄多炖了半小时。最终菜品更胜一筹，但旁观者无法分辨功劳属于食材选择、器具优势还是时间投入。研究者将这种多变量混杂导致数据能力被掩盖的现象，称为“数据智能”被淹没。

数据智能在此语境下指模型理解、操作、改进训练数据的能力，具体包括：识别原始数据中的问题、判断如何修复、如何组织数据结构、如何从头构造有用的新数据。

本文要评测的对象，正是针对上述问题设计的控制变量式评测框架——将训练框架、超参数、算力全部锁定，仅保留数据作为唯一可动变量，从而单独观测模型的数据判断力。读者通过本文可以获得：一套可复用的数据智能评测维度设计方法、三类典型任务的验证流程、结果解读逻辑，以及该评测框架的适用边界与风险提示。

本文适合开发者、算法工程师、技术负责人及企业技术团队阅读，尤其适合正在做模型选型、数据管线评估或自动化科研能力验证的读者。

二、评测目标：验证什么问题

本评测不追求给出“某模型好或不好”的绝对结论，而是围绕以下问题建立判断依据：

1. 数据诊断能力：模型能否在无标注提示的情况下，从被污染的数据集中识别出错误样本？识别依据是规则可检测的表面错误，还是需要语义理解的深层错误？
2. 数据修复与筛选能力：模型能否在有限配额下（例如从大规模样本中挑选子集）构造出干净可用的训练集，并让下游模型获得可观测的效果提升？
3. 数据组织能力：在检索类训练场景中，模型能否合理组织数据结构，使下游任务受益？
4. 数据构造能力：模型能否将原始语料转化为可用的训练材料，而非简单搬运？
5. 变量隔离有效性：当框架、超参数、算力一致时，模型间差异是否可归因于数据智能？

需要强调的是，评测结论必须结合业务场景、数据规模、成本约束和长期维护需求综合判断，而非单一跑分排序。

三、评测对象说明：控制变量框架是什么

该评测框架的核心设计原则是单变量原则：固定训练框架版本、固定超参数搜索空间、固定计算资源配额、固定训练轮次与评估流程，仅允许被测模型对数据执行操作。

在这一框架下，被测模型扮演“数据管家”角色，其输出是一份数据方案（清洗后的数据集、组织后的检索数据、构造出的训练材料），而非直接输出模型权重。下游训练与评估由统一的、与模型无关的管线执行，从而保证效果差异可回溯到数据方案本身。

这一设计解决的问题是：传统基准中“数据操作”与“训练技巧”耦合，导致能力归因失败。控制变量框架将数据智能从复合能力中剥离出来，使其成为可独立观测的对象。

四、评测维度设计

围绕数据智能，建议从以下维度建立评测框架。每个维度均需给出可观察指标，而非笼统的“效果好”。

维度	关注点	可观察指标（定性/半定量）
功能完整性	是否覆盖诊断、修复、组织、构造四类操作	任务完成率、操作类型覆盖度
准确性/有效性	数据方案是否真正改善下游表现	下游任务指标相对基线的变化方向与幅度
诊断精度	能否区分规则可查错误与语义错误	检出的错误类型分布、误删率、漏检率
配额利用效率	在样本数上限约束下的取舍质量	入选样本的杂质比例、有效样本保留率
稳定性	多次运行、不同随机种子下的表现一致性	结果方差、异常输入下的失败模式
可解释性	能否说明筛选/修复依据	操作日志完整性、理由可追溯性
成本结构	数据操作消耗的调用量与时延	单位样本处理开销、端到端耗时
场景适配度	不同任务类型下的能力迁移	跨任务表现相关性

其中诊断精度与配额利用效率是该框架区别于通用评测的关键维度，原因在于：数据智能的核心难点不是“能改数据”，而是“在不知道哪里被动手脚的前提下，判断该改什么、该留什么”。

五、评测环境与前提

在开展评测前，需明确以下边界条件，避免结论越界：

• 数据规模与污染方式：明确样本总量、污染比例、污染类型（如类型错误、名称近似替换、意图与调用不匹配等）。污染应包含规则可检测与语义级两类，以区分浅层模式匹配与深层理解。
• 资源配额：固定算力配额、训练轮次、下游模型规模与结构，确保不同被测对象面对完全一致的下游条件。
• 调用方式：统一推理接口、超时设置、重试策略，记录每次调用的输入输出，便于复现。
• 测试边界：明确评测仅覆盖数据操作能力，不覆盖训练框架优化、分布式策略、推理加速等其他能力。
• 环境一致性：容器化运行环境、固定依赖版本、固定随机种子集合，降低环境漂移对结果的干扰。

六、评测方法：三类任务的操作流程

任务一：数据诊断与修复（工具调用模型训练场景）

流程如下：

1. 准备约 4 万条单轮函数调用样本作为基础数据集。
2. 使用多种腐蚀算子注入错误，例如参数类型篡改、函数名替换为相似但错误的名称、用户意图与实际调用工具不匹配等。错误设计需混合“规则可检出”与“需语义理解才能发现”两类。
3. 被测模型在不知情的前提下，从全量数据中挑选不超过规定配额（例如 1.6 万条）的子集，组成其认为干净可用的训练集。
4. 将各模型产出的数据子集，分别送入同一配置的下游小规模模型进行训练。
5. 在统一评估集上测量下游模型的工具调用准确率，并与“全量污染数据训练”“人工清洗数据训练”两个基线对比。

示意性伪代码（通用表达，不含具体工具名）：

for model in candidates:
    subset = model.select(noisy_dataset, quota=N)
    downstream = train(base_model, subset, fixed_config)
    score = evaluate(downstream, eval_set)
    record(model, subset.stats, score)

解读要点：若某模型下游得分接近人工清洗基线，且显著高于全量污染基线，说明其诊断与筛选有效；若得分提升但误删率很高，则说明其策略偏保守，需结合配额利用效率综合判断。

任务二：数据组织（检索类模型训练场景）

该任务验证模型能否为检索训练组织合理的数据结构。评测方法为：给定原始语料与查询集合，由被测模型决定样本配对方式、难负例构造策略与数据划分方案，下游训练与评估流程固定。观察指标包括检索召回相关指标的变化方向、数据组织方案的稳定性，以及不同随机种子下的方差。

任务三：数据构造（知识注入场景）

该任务验证模型能否将原始语料转化为训练材料。评测中固定下游训练配置，仅比较不同模型构造出的训练材料所带来的知识注入效果。需注意控制构造材料的规模一致性，避免“材料更多”本身成为混杂变量。

七、结果解读：什么结果说明什么

• 下游指标提升 + 误删率低：数据诊断与筛选能力较强的信号，但仍需检查提升是否在多个随机种子下稳定。
• 下游指标提升 + 误删率高：可能依赖激进过滤换取质量，需评估在数据稀缺场景下的可接受性。
• 下游指标持平 + 操作日志清晰：能力未必突出，但可解释性好，适合对审计要求高的场景。
• 多次运行方差大：稳定性不足，需排查是否对污染类型分布敏感。
• 仅对规则可检出错误有效：说明语义级诊断能力有限，在真实脏数据场景中风险较高。

需要强调：任何单一任务的结果都不能直接外推为“通用数据智能强弱”。跨任务表现的相关性，才是判断能力迁移性的依据。

八、适用场景与风险限制

适用场景：模型选型中的数据能力对比、数据管线自动化方案验证、自动化科研智能体的能力归因分析、企业数据治理流程中的模型辅助筛选评估。

风险与限制：

1. 样本偏差：污染算子设计决定了评测覆盖面，算子集合有限时，结论仅在该错误分布下成立。
2. 环境差异：下游模型规模变化可能改变数据方案的相对优劣，小模型上的结论不必然迁移到大模型。
3. 配额敏感性：筛选配额设定本身会影响排名，需在多个配额下重复验证。
4. 长期不确定性：单轮评测无法反映数据方案在持续数据流入场景下的退化风险。
5. 不可归因残留：即使控制变量，数据操作与下游训练之间仍可能存在交互效应，结论应表述为条件化判断。

九、选型与使用建议

• 优先在自身业务的数据污染分布上构造评测集，而非直接套用通用污染算子。
• 至少运行三个随机种子并报告方差，避免以单次结果做决策。
• 将误删率与下游指标联合观察，单纯追求指标可能带来数据浪费。
• 对可解释性要求高的团队，应把操作日志完整性纳入评测维度。
• 若评测用于采购或方案对比，建议固定配额、固定下游配置，并公开污染类型清单，保证对比可复现。

十、总结

本文围绕“AI 数据智能”这一被复合能力掩盖的评测对象，说明了控制变量式评测框架的设计逻辑：锁定框架、超参数与算力，仅保留数据为变量，通过诊断修复、数据组织、数据构造三类任务，从诊断精度、配额效率、稳定性、可解释性、成本等维度建立观察框架。评测的价值不在于给出绝对排名，而在于让“高分来自数据判断力还是算力投入”这一问题变得可回答。使用该框架时，应始终关注污染分布、配额设定与下游配置三项边界条件，并结合自身场景做条件化解读。