NeurIPS 2026 工具调用数据合成路线对比:先出题 vs 先探索

作者:新兰2026.11.16 10:31浏览量:0

简介:工具调用Agent的训练数据该怎么造?“先出题”是先由模型生成任务指令,再由调用结果反过来验证;“先探索”则先连接真实接口、摸清能力边界,再据此生成任务。本文从可验证性、覆盖范围、复现条件、运维成本与安全边界等维度对比这两条路线,并给出场景化选型与迁移建议,帮助读者判断哪条路线更适合自身。

开篇:本文的对比对象是什么

在构建工具调用(Tool-Calling)Agent的训练数据时,业界常沿两条路线进行合成,本文称之为“方案A:先出题”和“方案B:先探索”。

  • 方案A(先出题):先确定“让模型做什么”,再由模型生成指令并自行“作答”。
  • 方案B(先探索):先确定“环境能做什么”,即连接真实接口、摸清工具能力边界,再据此提出任务、采集经过真实执行验证的调用轨迹。

我的工作正是在方案B的方向上展开。我们提出了一套从真实工具接口出发生成可验证 tool-call 数据的 pipeline,并配套了一个可离线复现的检索增强型工具调用模拟器。该 pipeline 覆盖了 240 个服务端、993 个工具,产出 5,144 个可验证任务。本文想回答的核心问题是:这两条路线的区别究竟在哪里,各自适合什么场景,团队又该如何选择。

一、对比背景:为什么两条路线值得认真比较

工具调用Agent的数据需求有几个鲜明特点:

  • 指令空间是开放集合:没有固定词表,可以组合成几乎无限多的任务。
  • 正确性必须可验证:判断一次调用是否正确,不能只看文本像不像,还要看参数是否匹配真实接口、返回是否符合预期。
  • 错误会沿轨迹累积:多步任务里,前一步参数错误可能到后几步才暴露。
  • 训练与评测容易混淆:训练集一旦与测试集同源,指标就会虚高。

单纯依赖人工标注难以支撑规模;完全交给模型自由生成,又会遇到两种典型失败。一是“幻觉工具”,即调用不存在的工具或参数组合;二是“看起来合理、实际不可用”的任务,指令无法落地,也就谈不上验证。

两条路线代表了两种不同的应对思路:先出题路线用“更强的生成能力”换规模,先探索路线用“真实执行反馈”换可靠性。下面的对比都围绕这一根本差异展开。

二、对象定义:两种范式各自解决什么问题

方案A:先出题——以任务为中心的合成范式

先出题路线的典型链路是:

  1. 汇总工具的描述信息;
  2. 用强模型生成任务指令,或为每个工具构造若干样例指令;
  3. 采样一条或多条工具调用轨迹;
  4. 用规则校验、模拟执行器或模型评审做过滤。

它要解决的问题是“指令从哪里来”。优势在于启动门槛低,指令风格可控,容易定向生成多步、跨工具、带干扰项等特定类型样本,通常不依赖真实环境。代价是,任务与接口能力之间没有强约束,必须依赖事后的校验环节来兜底。

方案B:先探索——以环境为中心的合成范式

先探索路线从真实接口出发,典型链路是:

  1. 发现并连接工具服务,列举工具清单并做规范化;
  2. 对接口做探测式调用,记录真实的输入与输出;
  3. 从“已经验证可行”的真实交互中反推任务指令;
  4. 把探索结果固化成可离线复现的模拟环境,在其中批量训练与评测。

它要解决的问题是“任务是否真的可行、结果是否真的可验证”。代价是对服务端可用性和权限有依赖,因此通常需要配套沙箱和离线复现机制。

三、相同点:共享的底层问题与工程环节

两条路线的差异不在目标,而在于控制信息的先后顺序。它们共享的问题包括:

  1. 目标一致:都是为了得到“指令 + 工具调用轨迹”的训练与评测数据。
  2. 工具描述的规范化:接口描述要统一成结构化的模式定义(名称、参数、类型、约束、返回结构),否则无论哪条路线都难以稳定运行。
  3. 轨迹记录格式统一:一般包含指令、若干步骤(工具名、参数、观察结果)以及最终答案,以适配主流Agent框架。
  4. 需要质量过滤:去重、难度分级、格式校验、轨迹合法性检查都是必备环节。
  5. 需要防范数据泄漏:两条路线同样要区分训练集与测试集。
  6. 评测依赖可执行环境:生成轨迹后,都需要在环境中重放,以判断答案是否正确。

换言之,先出题与先探索更像是同一条生产线的两种排产方式:一种先排订单再备料,一种先盘库存再排产。

四、核心差异:九个维度的深入对比

1. 数据起点:控制信息的先后顺序不同

这是最根本的差异,可以用下面的伪代码表达:

  1. # 方案A:先出题
  2. tasks = [generate_instruction(tool_schema) for tool_schema in all_tools]
  3. dataset = []
  4. for task in tasks:
  5. # 轨迹由模型生成,事后才知道对不对
  6. trajectory = sample_trajectory(task, llm)
  7. if pass_checks(trajectory, mock_executor):
  8. dataset.append((task, trajectory))
  9. # 方案B:先探索
  10. corpus = []
  11. for server in discovered_servers:
  12. for tool in list_tools(server):
  13. # 先做低风险探测,记录真实输入输出
  14. probe = safe_probe(server, tool)
  15. corpus.append(probe) # 1) 先固化真实调用片段
  16. tasks = [derive_instruction(c) for c in corpus if c.is_verifiable] # 2) 再反推任务
  17. simulator = build_offline_simulator(corpus) # 3) 训练评测在离线模拟器中重放
  18. dataset = rollout_in_simulator(tasks, simulator)

方案A先生成任务,轨迹的正确性只能事后检验;方案B先掌握真实的工具能力与行为,再生成任务,正确性在生成时就已经被“锚定”。方案B多出的“模拟器”这一步,是把真实探索结果固化为可检索、可回放的环境,这正是它能同时做到“可验证”和“可离线复现”的关键。

2. 可验证性的来源:事后校验 vs 真实执行

  • 方案A:验证依赖规则或近似模型。参数存在性、类型匹配、路径可行性等可以检查;但真实返回是否正确、真实前置条件是否满足,往往难以判断。一旦“出题模型”和“评分模型”来自同一家族,两者还会共享类似的认知偏差,造成“自洽但不正确”的数据。
  • 方案B:一条轨迹之所以进入数据集,是因为它已在真实环境中跑通。真实的状态变化、错误码、返回结构都是可核查的证据。评测时再用离线模拟器按动作检索对应的真实观察结果并回填,就得到近似真实的重放。

需要说明的是,模拟器回放与真实服务仍可能存在差异,例如环境状态推进、返回内容的具体取值。因此,重要结论仍建议抽样在真实环境中复核。

3. 覆盖广度:描写了多少工具 vs 实际调通了多少工具

  • 方案A:覆盖取决于接口描述的质量和数量。描述缺失或过于简略的工具,生成的指令容易失真。
  • 方案B:以真实可调用的接口为单位组织数据。公开描述的一类工作中,从真实接口出发可以覆盖数百个服务端、近千个工具接口,产出数千个可验证任务,说明以真实接口为底座足以支撑中等规模的训练与评测。

在后者中,一个工具哪怕描述简略,也可能通过探测发现多种实际用法(如分页参数、筛选条件)。覆盖质量的度量方式,也从“描写了多少工具”变为“实际调通了多少工具、多少组合”。

4. 分布真实性:合成分布 vs 真实交互分布

  • 方案A:指令风格高度依赖出题模型的先验,容易趋同,偏向“模型喜欢说的话”,而不是“用户真正会说、环境真正允许的事”。
  • 方案B:指令是从真实调用反推出来的,保留了真实接口的组合约束、参数类型和前置条件。因此任务与工具能力天然对齐,更难出现“指令要求的环境里不存在的能力”。

这一点在多工具协作中尤其重要:真实环境中某些工具之间本就存在调用顺序依赖,先探索能自然把这些依赖保留下来。

5. 难度与多样性:可控造题 vs 真实约束

  • 方案A:优势是可控,可以指定生成多步、跨域、含干扰项、需要拒答的样本,难度分布易于调节。
  • 方案B:多样性来自真实接口的多样性。跨多个服务端的探索,能自动形成“需要综合多个工具才能完成”的任务。但难度受限于真实接口的能力边界,极难的组合任务需要额外设计。

简单说,方案A擅长“设计难题”,方案B擅长“发现真实存在的难题”。

6. 环境依赖与可复现性:离线即可 vs 需要配套机制

  • 方案A:通常可完全离线完成,接入和调试简单,适合快速实验。
  • 方案B:天然依赖真实服务端,因此必须解决可复现问题。我们采用的检索增强型模拟器,思路是“用真实片段而非生成内容来回填工具结果”:
  1. class OfflineToolSimulator:
  2. def __init__(self, call_corpus):
  3. self.index = build_index(call_corpus) # 按工具、参数、前置状态建立索引
  4. def step(self, state, action):
  5. # 用动作检索最相似的真实调用片段,直接回填真实观察结果
  6. matches = self.index.search(action, state)
  7. if not matches:
  8. # 语料中没有出现过的动作:走兜底策略,并标记为"不可验证"
  9. return fallback(action), False
  10. return matches[0].observation, True

设计要点有三:

  • 索引以“工具 + 参数约束 + 前置状态”为键;
  • 检索结果直接来自真实片段,而非模型生成;
  • 未命中的动作显式标记为不可验证,避免“假装成功”。

这样一来,训练数据和评测环境可以做到版本化、可重跑,也便于在团队之间共享。

7. 成本结构:人力集中位置不同

两者都涉及算力、存储与人力,但人力的投入位置明显不同:

  • 方案A:前期接入成本低,主要人力消耗在“质量把关”,需要人工抽检,修正幻觉调用、不合理指令和不可执行的轨迹。
  • 方案B:前期人力集中投入在“接口接入、探测策略、沙箱与权限设计”,探索完成后数据质量更稳定,后期返工相对少。
  • 共同成本:工具描述的维护、数据版本的治理、评测环境的建设。

在云上承载这类 pipeline 时,可以借助对象存储保存调用语料与轨迹、消息队列做任务分发、容器平台运行合成与评测作业、日志服务与监控告警观测作业成功率。百度智能云在这些通用能力上有相应产品可以承接。这类工程化投入与两条路线的选择无关,但方案B对它的依赖更强。

8. 安全与合规:真实调用带来的新边界

这是方案B特有、方案A基本不涉及的问题。对真实接口做探索,天然存在副作用风险:

  • 只应使用只读、低风险的探测动作;
  • 写操作必须放入沙箱,或严格限制参数;
  • 权限遵循最小可用原则;
  • 采集到的真实返回可能包含敏感数据,需要在进入训练集之前做脱敏;
  • 对外部服务的调用频率要有约束,避免对上游造成压力。

方案A同样要防范“工具幻觉”,但风险性质属于数据质量,而不是真实副作用。两者都需要对数据做审计和溯源,但方案B对审计链的要求更高。

9. 运维与持续演进:工具世界在变

真实工具接口会升级、下线或改变行为。方案B的数据需要随环境变化做回归与更新;好在模拟器已把真实片段固化下来,旧版本数据仍可复现。方案A受环境变化影响小,但也正因为不贴着真实环境,容易出现“数据与真实工具能力脱节”的长期风险。

五、对比总表

对比维度 方案A:先出题 方案B:先探索
数据起点 模型生成的任务指令 真实接口的调用片段
正确性来源 事后规则校验、模拟执行或模型评审 真实执行结果与离线模拟器回放
覆盖范围 取决于接口描述的数量与质量 取决于实际可调用的接口与组合
分布真实性 依赖出题模型先验,易趋同 接近真实调用,工具间依赖被保留
难度可控性 强,可定向构造 受真实接口能力边界约束
环境依赖 弱,通常可离线完成 强,需要沙箱与离线复现机制
前期投入 接入成本低,质量把关成本高 接入与探测设计成本高
主要风险 幻觉工具、不可执行指令 真实副作用、敏感数据、接口变更
安全边界 以数据质量为主 需最小权限、沙箱、脱敏、审计
复现性 天然可复现 通过检索增强型模拟器实现可复现
适合阶段 快速冷启动、定向造题 需要高可信验证的训练与评测

六、典型场景的选择

  1. 快速验证一条Agent链路:先用方案A生成小规模数据,快速跑通训练与评测流程,成本低、迭代快。
  2. 构建正式评测集或验收基准:优先方案B。评测集要求“可验证”,方案B的每条样本都有真实执行背书,更能抵抗数据泄漏与评分偏差。
  3. 工具描述质量参差、来源多样:偏向方案B。真实探测能弥补描述缺失带来的失真。
  4. 需要定向构造难例(多步、跨域、含干扰):以方案A为主,用方案B的真实调用做“合法性兜底”,即任务可以设计,但轨迹必须在真实环境中跑通。
  5. 团队运维能力有限:如果缺乏沙箱与权限治理能力,应先采用方案A,并配合严格的抽样人工复核,待基础设施成熟后再引入方案B。
  6. 需要长期持续更新数据:采用“方案B为主 + 模拟器版本化”的组合,把真实片段作为资产沉淀,接口升级时增量更新。

七、选型建议

以下判断是条件化的,实际选择还要结合团队规模、基础设施与合规要求:

  • 如果目标是“快速拿到可用数据”:以方案A起步,把精力放在质量校验与去重上。
  • 如果目标是“指标可信”:以方案B为主。可验证性来自真实执行,而不是模型自评,这在对外汇报或跨团队验收时更站得住脚。
  • 如果两者都需要:采用“混合排产”。用方案A负责广度与难例设计,用方案B负责锚定正确性与提供真实片段,再用离线模拟器统一训练和评测环境。
  • 如果涉及外部接口的写操作:优先在沙箱中完成探索,把“能安全探索的范围”作为选择方案B的前提条件。
  • 如果资源受限:先评估人力主要能投入到哪一段。“接入与探测”投入得起,就选方案B;“质量把关”投入得起,就选方案A。

八、迁移与使用注意事项

从方案A切换到方案B,或反过来,都不是简单的代码替换,需要关注以下几点:

  1. 数据格式对齐:两种路线产出的轨迹字段可能不同,例如方案B会多出“真实观察结果”和“是否验证通过”的标记。迁移时要统一模式定义,保证下游训练代码可复用。
  2. 工具描述规范化:方案B对接口描述的依赖更强,需要先建立统一工具清单,处理重名、参数别名和返回结构差异。
  3. 权限与沙箱:方案B涉及真实调用,必须明确最小权限范围、可调用动作白名单,以及写操作的隔离方式。
  4. 敏感数据处理:真实返回可能包含用户数据或内部信息,进入训练集前应做脱敏或字段裁剪,并保留溯源记录。
  5. 模拟器命中率:离线回放依赖语料覆盖。对未命中的动作要有兜底策略,并明确标记为不可验证,避免评测结果被静默污染。
  6. 接口版本管理:工具接口升级后,旧语料与新接口可能不一致,需要建立回归机制,定期抽样在真实环境复核。
  7. 成本与容量:方案B的探索阶段可能涉及较多真实调用,应设置速率限制与预算上限。

九、总结

先出题与先探索的核心区别,不在于“谁更先进”,而在于把“正确性”放在生成链的哪一环:

  • 方案A把正确性交给事后校验,优点是启动快、可定向造题,风险是幻觉与不可执行。
  • 方案B把正确性前移到生成之前,用真实执行结果锚定数据,代价是接入、沙箱与复现机制的建设成本。

对大多数团队而言,更现实的做法是组合使用:以真实探索锚定可验证性,以离线模拟器保证可复现,以先出题补充难度与多样性。当评测指标需要“经得起推敲”时,真实执行背书的价值会明显高于纯合成数据。这也是我们在真实接口上构建可验证 tool-call 数据 pipeline、并配套检索增强型模拟器的基本出发点。