简介:构建 Agent 时,是直接调用底层原生 SDK 自建循环,还是套用高层统一抽象框架?本文从缓存控制、工具调用、强化信号、共享状态、模型适配与运维成本等维度系统对比两类方案的差异,给出条件化选型建议与迁移注意事项,帮助开发者在真实工具调用场景下做出更稳妥的技术决策。
多位长期维护开源项目的开发者在近期的技术分享中反复提到同一个判断:构建 Agent 依旧是一件“混乱”的事情。这种混乱并非来自模型能力本身,而是来自抽象层与真实运行时不匹配。
表面上看,一个 Agent 就是一个循环:模型输出 → 判断是否需要工具 → 执行工具 → 把结果回填到上下文 → 继续下一轮。这个模型足够简单,以至于大量高层框架都把它当作核心卖点。但只要给模型真正绑定工具,循环立刻变得微妙:
因此,“用框架还是用原生”不再是一个风格问题,而是一个控制权归属问题:你愿意把缓存、消息结构、工具执行这些高价值决策权交给框架,还是自己持有?
本文对比的两类方案是:
在做差异分析之前,先明确两者的共识边界,这能避免选型时的期望错位。
一句话:相同点在于“工程要素清单”,差异点在于“这些要素由谁实现、实现得多深、能不能替换”。
方案 A 的价值在于统一。它把不同模型服务的消息结构、工具调用格式、流式协议归一成一套内部表示,让业务代码看起来是同一份。这在演示、原型、单一工具链的场景下效率极高。
问题在于,归一必然意味着有损。一旦你的 Agent 需要精细控制循环的每一步——例如在某几轮之后插入一次显式的缓存边界、在某个工具失败时跳过正常的重试策略、在满足条件时提前终止并返回中间产物——你写的代码就开始“绕着框架走”。这类代码通常表现为:访问框架内部字段、维护自定义扩展点、或者在框架回调里做状态外挂。此时框架已经从助力变成了需要绕开的约束。
方案 B 的成本正好相反:你要自己实现循环、自己处理错误码映射、自己保证流式解析正确。代价是明确且前置的,好处是控制流完全可见。一位维护者给出的判断很直接:由于“正确的抽象层”尚未清晰,直接使用各平台原生接口反而能保持绝对掌控。
这是差异最集中的地方,也是原始讨论中被重点提到的痛点。
现代模型服务除了支持你自定义的工具,往往还提供服务方内置工具(例如内置检索、代码执行、文件读取等能力)。这类工具的特点是:调用与结果由服务端生成,但要以特定结构出现在消息历史中,并且可能对历史结构有额外要求。
方案 A 在这一层的问题通常是“统一格式的尝试没有真正成功”:框架把服务端的专有块映射到自己的通用表示,回填时再映射回去。映射链条越长,信息损失与结构破坏的概率越高,典型表现就是消息历史被打乱或结构被破坏——表现为后续轮次模型“忘记”早期约定、重复调用同一工具,或者报出无法解释的参数错误。
示意性地看方案 B 在这一层的写法(伪代码,字段名仅为示意,具体以所用服务文档为准):
messages = [{"role": "system", "content": system_prompt}]while True:resp = model_client.generate(model=model_name,tools=custom_tool_specs,server_tools=server_tool_specs, # 服务方内置工具,原样透传messages=messages,)# 服务方产生的调用与结果块,原样追加,不做格式转换for block in resp.output_blocks:messages.append(block)if resp.stop_reason == "tool_use":results = [execute(b) for b in resp.tool_calls]messages.append({"role": "user", "content": results})continuebreak
关键差异不在代码长度,而在是否存在一次有损转换。方案 B 让服务端专有结构在上下文中保持原样,方案 A 则需要框架承诺无损往返——这个承诺目前并不稳固。
“手动管理缓存效果更好”是原始讨论中另一个明确结论。原因是提示缓存(对稳定前缀的 KV 复用)的命中条件很严格:前缀必须完全一致,且通常需要显式标记缓存边界,同时受最短可缓存长度与存活时间约束(具体阈值随服务方策略变化,应以官方文档为准)。
此外,不同模型服务的缓存策略差异巨大:有的按前缀自动复用,有的必须显式声明,有的存活时间很短。跨模型做统一抽象时,这部分差异往往被抹平,最终变成“取所有模型的最小公共集”。
所谓强化信号,指的是把工具返回的错误、异常、超时等信息重新喂回模型,让它自我修正而不是直接失败。原讨论中特别提示了两点:它承担的工作量比预期更大;失败案例必须严格隔离。
为什么必须隔离?因为工具报错内容会进入上下文,成为后续推理的依据。如果直接把原始堆栈、内部路径、上游服务返回的结构体整体回填,模型很可能把注意力转向“解释这个错误”而不是“完成任务”,进而反复重试同类操作,形成消耗大量 token 却无进展的循环。
因此工程上通常需要三层处理:
方案 A 一般提供统一的重试封装,上手快;但错误内容的裁剪策略、重试预算的粒度、失败分支的隔离方式,通常不在其可配置范围内。方案 B 需要自己实现这三层,实现成本不低,但可以对失败轨迹做精确控制。
多轮、多工具、长周期任务中,Agent 需要一块“外部记忆”。原讨论给出的判断是:类似文件系统的共享状态是关键基础设施。
它的价值在于三点:把长内容从上下文中卸载(模型只看摘要,需要时再读取)、让多个工具与多个子任务共享同一份中间产物、让失败恢复变得可能(从检查点继续而非从头再来)。
这一层几乎总是自建的,因为它的语义高度业务相关:文件如何命名、如何分片、如何索引、如何清理。方案 A 可能提供一个抽象的“记忆/状态”接口,但接口越通用,越难匹配具体业务的数据模型。实践中的常见做法是:无论用哪类方案,都自己实现状态层,并把它放在对象存储、数据库或容器临时卷之上——这类基础能力在主流云平台上都是标准类目,按需组合即可。
“输出工具”指的是一个特殊的工具:它的唯一作用是让模型返回结构化的最终结果。听起来简单,实际上很复杂——需要同时处理 schema 校验、字段缺失时的追问策略、部分结果暂存、以及“任务未完成但模型想结束”的判断。
方案 A 通常内置了结构化输出能力,直接声明 schema 即可;方案 B 需要自己实现校验与重试。差异点在于:当结构化输出与中途工具调用混在同一个循环里时,谁负责判定“这是最终答案还是中间步骤”,决定了循环能否正确终止。
原始讨论提到一个务实结论:模型选择依旧取决于具体任务。摘要、抽取、分类适合小而快的模型;多步推理与长上下文适合能力更强的模型;同一系统内不同环节用不同模型是常态。
这与方案 A 的“统一抽象”存在张力。抽象层的价值是让模型可互换,但如果你的代码里已经用到了某个模型的专属能力(内置工具、特定缓存语义、特定的思考/推理参数),那么“可互换”就只是接口层面的互换,迁移时仍需大量改造。方案 B 因为本来就是按模型分别接入的,这种改造反而更显式、更容易评估。
| 维度 | 方案 A:高层统一抽象框架 | 方案 B:底层原生 SDK + 自建循环 |
|---|---|---|
| 抽象边界 | 统一消息与工具协议,屏蔽模型差异 | 直接对接原生接口,无中间转换 |
| 接入速度 | 快,原型与演示阶段优势明显 | 慢,需自建循环与错误处理 |
| provider 侧内置工具 | 存在格式映射,历史结构有被破坏的风险 | 原样透传,结构保持完整 |
| 缓存控制 | 多为自动复用,边界隐式,命中率难预测 | 手动标记缓存边界,命中可控可预测 |
| 失败与强化信号 | 统一重试封装,裁剪策略有限 | 可精确实现错误归一化、重试预算、轨迹隔离 |
| 共享状态 | 提供通用接口,语义匹配度取决于业务 | 完全自建,贴合业务数据模型 |
| 结构化输出 | 内置支持,声明即用 | 自建校验与追问策略 |
| 多模型混合使用 | 受限于最小公共集,深度能力需绕行 | 按模型分别实现,边界清晰 |
| 版本升级风险 | 框架升级可能改变运行时行为 | 依赖模型服务自身接口演进 |
| 可观测性 | 格式统一但穿透能力弱 | 需自建但穿透能力强 |
| 主要成本 | 长期适配成本、抽象绕行成本 | 前期实现成本、维护人力 |
如果已经基于方案 A 上线,考虑向方案 B 迁移(或反向收敛),需要重点评估以下风险:
在国内落地时,可以结合百度智能云提供的模型服务、容器平台、日志服务与监控告警等通用云能力承载自建循环的运维需求,将精力集中在工具设计与评测体系上。
回到最初的问题:Agent 的“混乱”并不是框架不够多,而是正确的抽象层尚未定型。目前还没有哪一套统一抽象能同时满足缓存精确控制、provider 侧内置工具的完整语义、失败轨迹的严格隔离以及多模型深度能力的差异化使用。
因此,两类方案的差异可以归纳为一句话:方案 A 用统一但可能失真的表示换取上手速度,方案 B 用实现与维护成本换取控制力与可预测性。选择哪一种,取决于你的任务里“工具调用的复杂度”和“成本/成功率的可控性”这两项权重有多高——而不是取决于哪个方案看起来更先进。更务实的做法是:先用最小 Demo 验证最容易崩的那一环(通常是内置工具与消息历史),再决定抽象层落在哪一侧。