简介:本文对比两种Tool-Calling Agent训练数据构造思路:先出题后求解的前向合成,与先在真实工具上探索、再依据观测结果反向出题的探索式合成。文章从可验证性、环境复现、真实性、规模化成本和工程复杂度等维度梳理二者差异,并给出按数据规模、风险承受度与团队能力进行选型的判断依据,帮助读者明确何时选用哪种路径。
训练一个会调用外部接口的Agent,需要大量任务。每个任务都要带有正确的中间工具调用序列,以及可以被程序或规则核验的最终答案。数据效率较高的强化学习方案,通常也需要数千条任务。而常见的公开评测集,每个往往只有几十到几百条任务,远不能满足训练需要。
数据缺口促使团队转向合成。两个问题随之出现。第一,由语言模型想象出来的任务,其标准答案是否真的正确?第二,如果任务依赖真实的在线接口,而接口返回会随数据更新、限流或版本变化而改变,训练时如何稳定地复现同一个环境?
这两个问题指向同一个关键点:任务的生成顺序。先定义任务、再寻找答案,与先观察环境、再据此定义任务,会带来不同的数据质量和工程形态。因此,比较这两种顺序,比单纯比较提示词或模型选择更能说明问题。
前向合成的流程是:先由语言模型或人工撰写任务描述,再为该任务确定工具调用路径和预期答案。答案来源通常是生成时的推断,或者事后由标注人员、另一个模型补充。
这种方式的优势在于任务多样性高,生成速度快,可以按主题或难度批量产出。其隐患在于,答案建立在生成时的假设上。如果任务依赖的接口返回与假设不符,ground truth 就可能是错的。
反向合成的流程是:先在真实工具服务端上执行探索,记录每次调用的参数、返回内容、状态码和耗时。之后,再从已经记录的轨迹中生成自然语言任务,最终答案直接取自观测结果。
这种方式让任务与证据绑定。任务描述必须落在已观察的范围内,答案可以回溯到具体的返回记录。代价是探索需要调用真实接口,并且需要额外的存储、调度和状态管理。
纯模拟方式使用虚拟工具或规则生成的返回结果。它的可复现性最好,适合早期验证训练流程。但模拟返回与真实接口的字段结构、空结果、分页、异常码等行为通常存在差距,需要单独评估这些差距对训练结果的影响。
本文主要比较前两种方式,纯模拟作为参照出现在相关章节中。
两种方式在以下方面具有共同基础:
前向合成的答案来自生成时的假设。要验证这些答案,需要重新执行任务,并与预期结果比对。但执行时环境可能已经变化,验证本身也会引入新的不确定性。如果任务依赖的接口在两次调用之间返回不同内容,验证结果就无法判断是任务错误还是环境漂移。
反向合成的答案就是观测结果。只要探索轨迹完整记录,答案就有据可查。其可验证性取决于两点:轨迹是否完整,任务描述是否超出了观测范围。任务描述如果引入了轨迹中不存在的信息,核验依然会失败。
因此,两者的可验证性来源不同。前向合成依赖独立的验证环节,反向合成依赖轨迹的完整性和描述的克制。
真实接口的返回会随时间变化。数据可能被更新,服务可能限流或下线,版本升级可能改变字段含义。前向合成如果在每次训练时重新调用接口,同一个任务可能得到不同的答案,训练信号因此不稳定。
反向合成通常把探索结果存档,训练时基于存档提供工具响应。这可以理解为一种基于检索的工具调用模拟器:根据请求的工具名和参数,在历史记录中查找对应响应。命中则返回记录内容;未命中则应返回明确的缺失信号,或者将该样本标记为不可用。未命中时不应编造返回值,否则模拟器会引入新的错误来源。
这一机制的关键在于检索键的设计。参数归一化、默认值处理、时间相关字段的剔除,都会影响命中率和正确性。
反向方式保留了真实返回的细节,包括异常信息、空结果、分页游标、字段缺失、单位差异等。这些细节是 Agent 在真实环境中频繁遇到的情况。前向模拟往往只覆盖正常路径,导致训练出的 Agent 在遇到异常时缺乏应对经验。
真实性的代价是探索覆盖的边界受真实接口约束。某些接口在探索时可能没有数据,某些参数组合可能触发配额限制。这些都会让存档的分布偏离理想分布,需要在数据集构建阶段做显式记录和补偿。
前向合成的单条任务生成成本较低,可以并行批量产出。但验证成本较高,每条任务都可能需要再次执行并比对,验证环节常常成为瓶颈。
反向合成的探索需要调用真实接口,吞吐受速率限制、配额和服务端承载能力约束。不过,一次探索得到的轨迹可以复用于多条任务,同一条工具调用记录也可以支持不同难度的任务描述。从单位样本的角度看,探索的边际成本会随复用率提高而下降。
参考研究中,一个基于真实标准化工具服务端的反向合成流程,覆盖了240个服务端、993个工具,最终得到5144个可验证任务。该数字说明这一路径在规模上是可行的,但它不代表所有场景都能达到同样规模,实际规模取决于可用接口的数量与开放程度。
前向合成生成的任务倾向于集中在生成模型”容易想到”的工具组合上。热门工具、常见参数、典型业务流程会被反复生成,低频工具和边缘参数则容易被忽略。
反向合成从工具本身出发,可以系统遍历工具与参数空间,因此更容易覆盖长尾。但如果探索策略设计不当,例如只依赖随机采样,也可能偏向返回结果简单、响应快的接口。探索策略需要同时考虑工具覆盖度、参数多样性和返回信息的丰富程度。
前向合成的流程较简单:生成任务、生成答案、执行验证。对团队来说,主要工作在提示词设计和质量过滤上。
反向合成需要更多基础设施:探索调度器、请求与响应的存储、轨迹索引、失败重试、速率控制、副作用防护。这些组件的建设成本较高,但一旦建成,可以支撑多轮数据生产和模型迭代。
反向探索的一个特殊风险是副