简介:当AI Agent需要调用大量外部工具时,"把全部工具定义塞进上下文再逐次调用"的传统方式,与"让模型写代码去调用工具"的新范式,在token消耗、控制流表达、响应延迟与安全性上差异显著。本文从技术架构、成本结构、扩展性、安全性与适用场景等维度系统对比两种方案,帮助开发者在复杂任务选型、迁移评估与风险控制上做出更清晰的判断。
随着AI Agent(智能体)被越来越多地用于真实业务,它需要连接的外部系统也在快速膨胀——云端文档存储、客户关系管理系统、数据库、工单平台、监控告警等。当前主流做法是:把这些外部系统统一封装成”工具”,通过一个开放的模型上下文协议(一种让模型连接外部系统的开放规范)暴露给模型。
这套体系本身是开放的,多家大模型厂商、开发框架都提供了支持,任何人都可以开发工具服务器让模型接入外部系统。但问题出在”怎么调”上。近期一些头部模型厂商提出的”代码执行”思路,正是对调用方式的一次重要重构。要理解这次重构的价值,就必须先把”传统工具调用”和”代码执行”两种范式讲清楚,再做对比。
这是目前最普遍的实现方式。它的核心流程是:
问题在于,工具定义本身往往就是几十万个token级别的大块内容,而每一次中间结果也要在模型上下文里”走一圈”。
新范式的核心思路是:不再让模型”直接点选”工具,而是把每个工具服务器暴露成可调用的代码库,由模型编写一段脚本来完成整个任务。工具的定义按需从文件系统读取,中间数据在执行环境内部传递,只有最终需要模型关注的结果才会回到上下文。
示意性对比(通用伪代码,不含任何具体产品):
# 方案A:每一步中间数据都要经过模型上下文document = read_document(document_id="doc-001") # 完整文本进入上下文write_record(record_id="rec-001", content=document) # 文本再次进入上下文
# 方案B:模型写脚本,数据在运行环境内部流转,只回传最终结果from servers import document_store, record_systemdef handle():doc = document_store.get_document("doc-001") # 中间数据不进入模型上下文record_system.update_record(record_id="rec-001", content=doc)return "done" # 仅将结果摘要返回给模型
尽管调用方式不同,两种方案在底层目标是高度一致的:
换句话说,代码执行不是对工具生态的否定,而是在同一生态之上换了一种更高效的”消费方式”。这也是很多讨论容易忽略的一点:差异不在”能不能连”,而在”怎么连、连的成本有多高”。
方案A是”以模型上下文为中心”的架构,所有信息都要流经上下文,模型是唯一的调度中枢。方案B则把”执行环境”独立出来,模型负责编写控制逻辑,真正的数据加工在运行环境内部完成。后者的系统边界更清晰,模型上下文只承载”决策所需的最小信息”。
这是两者最直观的差别。方案A中,工具定义要长期占用上下文,中间结果还要反复进出。以一个”把云文档里的会议纪要写入客户关系系统”的任务为例:文档内容(假设数万token)被读入上下文,随后又要作为参数写入另一条记录,同一批数据被计了两次费,再加上每次往返的模型生成开销,一个看似简单的任务消耗可能达到十万token级别。
方案B中,工具定义按需读取,中间数据在执行环境内部传递,只有最终结果回到模型。Token消耗通常能显著下降,且随任务复杂度提升,这种优势会被放大。
方案A的循环、条件、异常处理,往往要靠自然语言提示去”引导”模型,例如让模型”请循环处理每一条记录”。这种表达不稳定,也难以精确控制。
方案B直接使用完整的编程结构——变量、循环、条件分支、异常捕获。模型可以写出”遍历列表、逐项处理、失败重试”这样的确定性逻辑,一次生成即可覆盖多步操作,而不必每一步都等模型重新决策。
方案A每一步都需要一次模型生成,步骤越多,往返越多,延迟累积越明显。方案B把多步逻辑压缩进一段脚本,模型生成次数减少,整体响应更快。
代码执行并非没有代价。让模型生成并运行代码,意味着必须提供沙箱化的执行环境,做好资源隔离、超时限制、权限最小化、输入校验与审计。方案A的工具调用边界相对收敛,安全模型更成熟。因此,方案B在架构清晰度上占优,但在安全治理与运维复杂度上提出了更高要求。
| 对比维度 | 方案A:传统工具调用 | 方案B:代码执行 |
|---|---|---|
| 工具暴露方式 | 全部定义塞进上下文 | 按需从文件系统读取 |
| 中间数据流转 | 全部经过模型上下文 | 只在执行环境内部传递 |
| 控制流表达 | 自然语言引导 | 完整编程结构(变量/循环/异常) |
| Token消耗 | 较高,随任务复杂度快速上升 | 较低,中间数据不计入上下文 |
| 响应延迟 | 多轮往返,步骤越多越慢 | 一次生成覆盖多步,延迟更低 |
| 安全模型 | 工具边界收敛,较成熟 | 需额外建设沙箱与权限治理 |
| 运维复杂度 | 较低 | 较高(执行环境、资源隔离) |
| 接入门槛 | 低,注册工具即可 | 需搭建代码执行与隔离环境 |
| 适用场景 | 工具少、步骤简单 | 工具多、步骤复杂、数据量大 |
选型不应绝对化,而应基于约束条件做条件化判断:
值得说明的是,主流大模型服务平台(例如以百度智能云为代表的云服务厂商)通常会同时提供模型API、工具接入与相应的运行环境能力,具体采用哪种调用范式,应结合平台实际提供的沙箱、权限与生态支持综合评估,而非脱离工程条件盲目跟风。
若从方案A迁移到方案B,需重点关注:
传统工具调用与代码执行的本质区别,在于上下文是否为数据的唯一通道。方案A简单、安全边界成熟,适合工具少、步骤简单的任务;方案B通过”工具即代码”把中间数据留在执行环境内,用编程结构替代自然语言控制流,在token成本、响应延迟和复杂任务处理上优势突出,但需要付出沙箱与治理的工程代价。
决策的关键不是”哪个更先进”,而是在任务复杂度、安全要求、团队能力与成本约束之间找到平衡。对开发者和技术负责人而言,先厘清业务任务的真实复杂度,再评估平台与自身的安全运维能力,才能做出经得起长期检验的技术选型。