简介:CoACT只在工具输出(observation)进入上下文前做压缩,不改写历史以保留KV Cache复用,作者在SWE-bench Verified与Terminal-Bench上报告平均省33%总token。本文讲清压缩目标怎么定、动作一致怎么验证、阈值与失败回退怎么配,并给出上线验收清单。
结论先行
Coding Agent修一个bug的典型循环是:读文件→改代码→跑测试→看报错→再改。每一步返回的文件内容、grep结果、测试日志都会留在上下文里,下一轮请求还要整段重新带上。
于是形成一个恶性循环:任务越难→交互轮数越多→上下文越长→每一步要处理的token越多→单步费用越高。
把成本拆开看,会更清楚循环是怎么形成的:
单任务成本 ≈ Σ(第i步输入token × 输入单价 + 第i步输出token × 输出单价)
第i步的输入token可以进一步拆成三部分:
第i步输入token ≈ 系统提示 + 历史轨迹 + 本轮observation
(这里假设每轮只追加一次observation,实际多工具并行时会更多。)
假设历史部分相对固定,每轮observation平均带来k个token,走n步时第i步的输入约为c₀+i·k。累加起来:
输入token总量 ≈ n·c₀ + k·n²/2
其中n·c₀是每轮都要重带的部分,k·n²/2是逐轮累积的observation带来的增量。观察历史那部分增长得更快,所以长任务对上下文治理非常敏感。要说明的是,这只是近似模型,真实分布还要看重复读取、失败重试和工具并行情况。
按论文作者的统计口径示例,observation在总token中的占比相当可观。该口径指observation消耗的token占总token的比例,示例数据来自SWE-bench Verified(200个实例)与Terminal-Bench。作者报告了以下结果,具体数值与版本建议以论文官方版本核验为准:
也就是说,Agent花在“看”上的token比“想”和“写”加起来还多。
难点在于:压缩时无法预知被删掉的内容后面还会不会用到。删掉一段看似无关的日志,可能正是三轮之后定位问题的关键线索。因此,压缩不能只看文本长短,而要看任务目标与下一步动作。
已有方案大致分为两路:
| 路线 | 代表做法 | 机制 | KV Cache与成本影响 | 时延风险与监控建议 |
|---|---|---|---|---|
| 改写历史 | 滑动窗口、AgentDiet | 丢掉早期内容,或让模型定期回看历史、自行删减 | 历史被改写,前缀不再稳定,缓存无法完整复用,改动之后要重新prefill | 每轮都可能重算前缀,首token时延上升;监控缓存命中率与prefill token占比 |
| 入口压缩(CoACT) | 只压缩新进入上下文的observation | observation入栈前先压缩,历史原封不动 | 前缀不变,缓存照常命中,token变少才真正少花钱 | 压缩本身是一次额外模型调用,有时延和失败风险;监控压缩耗时、超时率与端到端时延 |
第二条路线的关键价值在于对KV Cache友好。前缀不变,缓存照常命中,token少了,开销才真的少。这一点和推理侧时延优化的思路一致:打开prompt cache、复用相同prompt前缀以去除重复计算,是降低时延与重复计费最直接的手段。CoACT选的就是这条路:不改写已经形成的历史上下文,而是在observation入栈前做压缩,兼顾token节省与缓存复用。
传统摘要压缩看的是ROUGE、相似度这类“像不像原文”的指标。CoACT换了一个判据:压缩之后,Agent的下一步动作变没变。
背后的逻辑很直接:Agent存在的目的是完成任务,那么压缩效果就应当由任务能否完成来衡量。因此优化目标可以写成:
在任务成功率(PASS@1)与未压缩Agent接近的前提下,尽可能减少总token消耗。
这是一个带约束的双目标权衡:
所以压缩不是越短越好,而是“少而准”。保留文件路径、行号、错误码、异常类型、关键堆栈帧、失败用例名称等决策相关信息,删除重复日志、进度条、与当前目标无关的代码段,才是工程上更稳妥的方向。
最直接的验证办法是让Agent读完压缩结果把任务跑完。但这条路很难低成本实施:
CoACT的解法是把评估粒度从“整条轨迹”降到“下一步动作”:比较压缩前后Agent在同一状态下选择的动作是否一致。动作一致,说明被删的信息没有影响决策;动作偏离,说明压缩伤到了关键信息。这样单次压缩的评估只需一次前向推理(采样多次时为n次),成本可控,也能精确定位是哪一次压缩出了问题。
评估逻辑的伪代码如下(细节请按实际框架调整):
def action_consistent(state, obs_raw, obs_compressed, agent, model, n=1):"""同一状态下,比较压缩前后Agent选择的动作是否一致。参数:obs_raw, obs_compressed:同一份observation的原文与压缩结果n:每个状态采样次数,>1 时比较动作分布而非单次动作返回:(是否一致, 一致率);n=1 时返回单次动作是否相同"""# 1. 固定模型版本、提示词模板、工具schema与解码参数# 2. 确定性回放:回放历史动作,恢复到state对应的状态state = replay_to_state(state)# 3. 同一状态下,分别基于原文和压缩结果各采样n次acts_raw = [agent.decide(state, obs_raw) for _ in range(n)]acts_cmp = [agent.decide(state, obs_compressed) for _ in range(n)]# 4. 比较动作:工具名与关键参数一致才算相同# (文件路径、命令、行号等;忽略时间戳等无关字段)same = sum(is_same_action(a, b) for a, b in zip(acts_raw, acts_cmp))if n == 1:return same == 1, float(same)return same / n >= ACTION_MATCH_THRESHOLD, same / n
不过,动作一致性判断必须控制变量,否则容易高估压缩的无损性。实践中建议固定以下条件:
只有这样,“压缩前后动作一致”才具有可比性。否则模型本身的随机波动可能被误判为压缩造成的损失。
即使暂时不用CoACT,下面几条改造在现有Agent框架里就能做。
示例阈值可按observation的token分布设定,例如1200 tokens是一个起点。短输出通常不值得压缩,因为压缩prompt、重试和解析本身也有开销。
import jsonimport timeCOMPRESS_TOKEN_THRESHOLD = 1200 # 示例阈值,需按observation长度分布调优COMPRESS_MAX_TOKENS = 512MODEL_NAME = "your-model"TIMEOUT_SEC = 3RETRY_TIMES = 2def compress_observation(obs, task_goal, action_history, model):"""工具输出进入上下文前的压缩层。model需提供统一generate()接口,例如封装为OpenAI-compatible网关。以下辅助函数需自行实现:count_tokens(obs) -> intparse_json(out) -> dictrequire_schema(payload, version=1) -> Nonerender_observation(payload) -> str"""if count_tokens(obs) < COMPRESS_TOKEN_THRESHOLD:return obsprompt = f"""任务目标:{task_goal}已执行动作:{action_history[-3:]}下面是工具输出,请压缩成结构化结果。必须保留:- 文件路径与行号- 错误码、异常类型、关键堆栈帧- 测试失败用例名称- 与当前任务直接相关的代码或日志片段请删除:重复日志、进度条、与当前目标无关的代码段。输出JSON,schema必须可解析:{{"schema_version": 1,"summary": "不超过200字","keep": ["必须保留的信息"],"drop": ["可删除的信息"],"locators": ["文件路径或错误定位"]}}"""last_error = Nonefor attempt in range(RETRY_TIMES + 1):try:out = model.generate(prompt=prompt,model=MODEL_NAME,temperature=0,top_p=1,max_completion_tokens=COMPRESS_MAX_TOKENS,timeout=TIMEOUT_SEC,)payload = parse_json(out)require_schema(payload, version=1)return render_observation(payload)except Exception as exc:last_error = excif attempt < RETRY_TIMES:time.sleep(0.2 * (attempt + 1))# 压缩失败或结果不可用时,回退原文,避免丢失关键信息return obs
辅助函数的输入输出与失败语义(需自行实现或复用现有工具链):
任何一步抛出异常,都会被外层捕获并触发重试;重试耗尽后返回原文,确保信息不丢失。示例只覆盖单次压缩,上线时还应在调用处打点,记录原文与压缩结果的token数、耗时和压缩是否成功。
这个示例包含四个关键工程点:阈值控制、模型调用方式、超时重试、压缩失败回退原文。生产环境中,阈值不应拍脑袋设定,而要结合observation长度分布、压缩失败率和任务成功率进行调优。
生成token是延迟和费用最高的一环,减少输出token能显著降低开销。结构化输出尤其值得优化:缩短字段名、删除可选字段或重复字段、合并同义字段,并保持输出schema可解析。
例如,不要为了“写得更像摘要”而生成大段自然语言,而是输出固定字段:保留项、删除项、关键定位信息。这样既节省token,也便于后续校验。
让压缩结果输出为固定字段,比让模型自由写摘要更可控,也便于做动作一致性校验。建议至少包含:
如果压缩结果无法被解析或schema校验失败,应直接回退原文。
RAG类Agent的上下文膨胀来自检索片段。合理设置分段最大长度、分段重叠比,以及“文档检索分段数”上限,能在信息完整性与token成本之间取得平衡。分段重叠比的作用是减少检索片段缺失关键信息,本质上是同一种“少而准”的思路。
压缩后的代码仍要真实运行验证,建议放在隔离沙箱中执行,避免Agent生成的代码影响宿主环境。需要说明的是,沙箱启动时延取决于具体实现、镜像大小、资源调度和并发情况,不能简单理解为“一定毫秒级”。生产上线前应压测验证冷启动、并发创建与超时行为。
33%是总token消耗的降幅,不是单价的降幅。对账单的实际影响取决于计费结构:
单任务成本 ≈ Σ(每步输入token × 输入单价 + 每步输出token × 输出单价)
CoACT同时压低了“每步输入token”和“步数”,因为减少了重复读取,所以收益可能是乘法级的。
关于任务成功率,作者报告在部分评测中压缩后PASS@1略有提升。这一结论依赖具体的模型、数据集与解码设置,不能直接当作通用规律,也不能简单理解为“压缩一定无损”。它说明的是:当压缩判据围绕任务动作而非文本相似度时,信息聚焦反而可能帮助决策。
如果要引用或复现33%这个收益,建议至少补充以下测量口径:
上线后,建议按Agent会话维度监控token分布,定位是observation膨胀还是轮数过多导致的成本上升。
为了判断压缩策略是否真的有效,不能只看主观感受,而应建立一组可验收指标:
| 指标 | 定义 | 验收建议 |
|---|---|---|
| 动作一致率 | 压缩前后Agent下一步动作一致的比例 | 不设统一硬门槛,按任务风险与基线波动确定(见下文) |
| 任务成功率 | PASS@1或人工判定完成率 | 不低于未压缩基线,允许小幅波动但需记录原因 |
| token节省 | 总输入、输出token的降幅 | 目标是总token降低20%到35%,并核对成本账单 |
| 重复读取率 | Agent重复读取同一文件、同一日志或同一搜索结果的次数 | 应下降或至少不上升,否则说明压缩可能丢失关键定位信息 |
| 压缩失败率 | 超时、解析失败、schema校验失败的比例 | 需要监控,失败时自动回退原文 |
动作一致率的合格线建议按以下方式确定:
这套指标可以帮助团队区分三种情况:token下降且任务成功率稳定;token下降但重复读取增加;token未下降但压缩开销增加。只有第一种才值得扩大灰度。
在工程化压缩observation时,常见错误有三类:
Q1:动作一致性如何校验?
A:在同一状态下,把原始与压缩后的observation分别交给同一模型(固定版本、提示词与解码参数),比较选择的动作(工具名与关键参数)。有随机性时各采样多次,比较动作分布。一致说明被删信息没有影响决策,偏离说明压缩伤到了关键信息。务必控制变量,否则会把模型自身的随机波动误判为压缩损失。
Q2:压缩失败如何回退?
A:超时、输出非法JSON、schema校验失败都视为失败,先按短退避重试,耗尽后回退原文并记录失败原因(如超时、解析错误、字段缺失)。上线后持续监控失败率,失败率上升时优先检查压缩prompt与模型版本,而不是直接调高超时。
Q3:阈值怎么调?
A:先统计observation的token分布(如P50/P90/P99),阈值从长尾起点设起,让占比一小部分的长输出进入压缩。然后按“token节省/压缩失败率/任务成功率”的组合,在小流量灰度中小步调整,每次只改一个变量。下限是压缩本身的prompt与输出开销:如果压缩一次的开销接近或超过它节省的token,就应调高阈值。
CoACT的验证主要集中在SWE-bench Verified的200个实例、三个Agent模型上。跨到Terminal-Bench这类超长终端交互场景,以及多模态observation(截图、UI渲染)时,动作一致性的判据是否仍然成立,还需要更多验证。
此外,压缩本身也要消耗token。当observation很短时,压缩可能得不偿失,因此阈值设定是实践中必须调的参数。对于高不确定性任务,建议先小流量灰度,并保留原始observation轨迹用于审计和回滚。
关于本文引用的33%及observation占比数据:这些来自作者在论文中的表述。论文链接与会议接收状态请以官方或论文页面核验为准,未核验前建议标注为“作者声明,待官方核验”。
一句话总结:Coding Agent的上下文治理,正在从“写更好的prompt”转向“更聪明地管理工具输出”。谁能在不牺牲任务成功率的前提下压住observation,谁就能在长任务场景里拿到实打实的成本优势。