简介:当 Agent 频繁执行串行工具调用时,大量 Token 被中间步骤消耗;而完整沙箱方案又过于笨重。本文介绍一种介于两者之间的“中层”运行时思路——将代码解释器嵌入 Agent 循环,分析其架构位置、工作原理、典型场景与选型注意事项,帮助开发者理解这一新兴设计模式。
在智能体(Agent)系统的语境下,“中层”运行时指的是一种嵌入在 Agent 控制循环内部的代码解释器环境。它既不是轻量的“逐次工具调用”模式,也不是完整的“沙箱虚拟环境”模式,而是介于两者之间的第三种运行形态。
从技术视角看,它是 Agent 运行时中的一个可编程执行层:Agent 可以在这个解释器里定义变量、维护数据结构、编写辅助函数、执行批量计算,而所有中间状态都保留在解释器内部,不会逐条进入模型的上下文窗口。
从使用视角看,它解决的是一个经典矛盾:Agent 需要执行“中间处理”逻辑(过滤一批数据、做一次聚合计算、转换一种数据格式),但为这点处理逻辑,要么付出昂贵的多轮模型往返成本,要么承担一个完整运行环境的重量。
可以用一个类比理解:如果串行工具调用像“每次切一片水果都要去超市买一次”,完整沙箱像“为切水果开一家餐厅”,那么嵌入解释器就像“厨房里常备一块砧板”——随取随用,处理完只端出成品。
传统的 Agent 执行模式是“调用工具→等待返回→模型推理→再次调用”的串行循环。这种模式存在两个问题:
另一种思路是给 Agent 一个完整执行环境:文件系统、网络访问、包管理器一应俱全。这确实扩展了 Agent 的能力边界,但代价同样明显:
很多时候,Agent 只是想做点轻量的“中间处理”,为这点事起一个完整沙箱,属于明显的过度供给。
嵌入解释器的方案正是在这两个极端之间找到平衡:它具备可编程能力(能写逻辑、能维护状态),又不承担完整环境的重量(无需独立的系统级资源供给)。其核心收益是——中间计算不消耗模型注意力,最终结果才进入上下文。
要理解这个设计,先看传统 Agent 运行时管理的两个上下文面:
嵌入解释器后,运行时引入了第三个上下文面:解释器运行时状态。三个面的分工可以这样概括:
| 上下文面 | 定位 | 成本特征 |
|---|---|---|
| 消息历史 | 模型可见的决策依据 | Token 昂贵,受注意力约束 |
| 文件系统 | 持久化中间产物 | 灵活但需读写往返 |
| 解释器状态 | 过程性中间值 | 留在运行时内,不进模型上下文 |
这三个面构成一条清晰的数据分层原则:需要模型推理的进消息历史,需要持久保存的进文件系统,仅用于过程计算的留在解释器里。
其运行逻辑可以拆解为四步:
以一个通用的 JavaScript 示例说明:
// 这段代码在解释器内执行,中间值不进入消息历史const rows = [{ team: "support", tickets: 18 },{ team: "infra", tickets: 7 },{ team: "sales", tickets: 11 },];const total = rows.reduce((sum, r) => sum + r.tickets, 0);const busiest = [...rows].sort((a, b) => b.tickets - a.tickets)[0];return `${busiest.team} has the most tickets. ${total} tickets total.`;
模型最终只看到一行结果:support has the most tickets. 36 tickets total.。数据结构、排序逻辑、求和过程全部被运行时“吸收”,既节省了 Token,也避免了模型在大量结构化数据上消耗注意力资源。
后续轮次中,Agent 还可以继续引用解释器里的既有变量和函数,实现跨步骤的状态复用——这是串行工具调用模式难以做到的。
这一模式特别适合以下几类任务:
反之,它不适合需要网络访问、系统级文件操作、复杂依赖安装的场景——那些仍然是完整沙箱的主场。
三者并非互斥,成熟的 Agent 架构往往将三者组合使用,按数据特征选择存放位置。
Agent 的“中层”运行时,本质上是把代码解释器作为 Agent 循环内的一等公民,在消息历史与文件系统之外开辟了第三个上下文面。它让过程性中间值留在运行时内,让模型只消费最终结果,从而在“串行调用太贵”与“完整沙箱太重”之间提供了一条务实的中间路径。对于以数据处理、批量计算、流程编排为主要工作负载的 Agent 应用而言,这一模式值得纳入架构设计候选;但其安全隔离、异常处理与可观测性配套,仍是生产化落地时必须认真对待的前提。