CoACT压缩Agent上下文:33% Token节省怎么验证与落地

作者:demo2026.11.17 03:47浏览量:0

简介:CoACT只在工具输出(observation)进入上下文前做压缩,不改写历史以保留KV Cache复用,作者在SWE-bench Verified与Terminal-Bench上报告平均省33%总token。本文讲清压缩目标怎么定、动作一致怎么验证、阈值与失败回退怎么配,并给出上线验收清单。

结论先行

  • 是什么:CoACT是一种上下文压缩思路,只压缩新进入上下文的工具输出(observation),已形成的对话历史原封不动,因此KV Cache仍能复用。
  • 适合谁:读文件、跑测试、看日志、执行命令的Coding Agent长任务。observation占比越高、交互轮数越多,收益越大。
  • 33%怎么来的:这是作者在SWE-bench Verified与Terminal-Bench上报告的平均总token降幅。能否在自己的业务中复现,取决于数据集、模型、解码参数、基线与统计口径,具体数字建议以论文官方版本核验为准。

一、问题本质:长任务的成本是“累积”出来的

Coding Agent修一个bug的典型循环是:读文件→改代码→跑测试→看报错→再改。每一步返回的文件内容、grep结果、测试日志都会留在上下文里,下一轮请求还要整段重新带上。

于是形成一个恶性循环:任务越难→交互轮数越多→上下文越长→每一步要处理的token越多→单步费用越高。

把成本拆开看,会更清楚循环是怎么形成的:

单任务成本 ≈ Σ(第i步输入token × 输入单价 + 第i步输出token × 输出单价)

第i步的输入token可以进一步拆成三部分:

第i步输入token ≈ 系统提示 + 历史轨迹 + 本轮observation

(这里假设每轮只追加一次observation,实际多工具并行时会更多。)

假设历史部分相对固定,每轮observation平均带来k个token,走n步时第i步的输入约为c₀+i·k。累加起来:

输入token总量 ≈ n·c₀ + k·n²/2

其中n·c₀是每轮都要重带的部分,k·n²/2是逐轮累积的observation带来的增量。观察历史那部分增长得更快,所以长任务对上下文治理非常敏感。要说明的是,这只是近似模型,真实分布还要看重复读取、失败重试和工具并行情况。

按论文作者的统计口径示例,observation在总token中的占比相当可观。该口径指observation消耗的token占总token的比例,示例数据来自SWE-bench Verified(200个实例)与Terminal-Bench。作者报告了以下结果,具体数值与版本建议以论文官方版本核验为准:

  • SWE-bench Verified:45.7%
  • Terminal-Bench:最高67.8%

也就是说,Agent花在“看”上的token比“想”和“写”加起来还多。

难点在于:压缩时无法预知被删掉的内容后面还会不会用到。删掉一段看似无关的日志,可能正是三轮之后定位问题的关键线索。因此,压缩不能只看文本长短,而要看任务目标与下一步动作。

二、两条技术路线,差别在KV Cache

已有方案大致分为两路:

路线 代表做法 机制 KV Cache与成本影响 时延风险与监控建议
改写历史 滑动窗口、AgentDiet 丢掉早期内容,或让模型定期回看历史、自行删减 历史被改写,前缀不再稳定,缓存无法完整复用,改动之后要重新prefill 每轮都可能重算前缀,首token时延上升;监控缓存命中率与prefill token占比
入口压缩(CoACT) 只压缩新进入上下文的observation observation入栈前先压缩,历史原封不动 前缀不变,缓存照常命中,token变少才真正少花钱 压缩本身是一次额外模型调用,有时延和失败风险;监控压缩耗时、超时率与端到端时延

第二条路线的关键价值在于对KV Cache友好。前缀不变,缓存照常命中,token少了,开销才真的少。这一点和推理侧时延优化的思路一致:打开prompt cache、复用相同prompt前缀以去除重复计算,是降低时延与重复计费最直接的手段。CoACT选的就是这条路:不改写已经形成的历史上下文,而是在observation入栈前做压缩,兼顾token节省与缓存复用。

三、压缩目标怎么定:以任务能否完成,而非文本像不像

传统摘要压缩看的是ROUGE、相似度这类“像不像原文”的指标。CoACT换了一个判据:压缩之后,Agent的下一步动作变没变。

背后的逻辑很直接:Agent存在的目的是完成任务,那么压缩效果就应当由任务能否完成来衡量。因此优化目标可以写成:

在任务成功率(PASS@1)与未压缩Agent接近的前提下,尽可能减少总token消耗。

这是一个带约束的双目标权衡:

  • 删太多:Agent缺少必要信息,导致任务失败,或者被迫重复读取同一文件,反而更贵。
  • 删太少:上下文没瘦下来,开销降不动。

所以压缩不是越短越好,而是“少而准”。保留文件路径、行号、错误码、异常类型、关键堆栈帧、失败用例名称等决策相关信息,删除重复日志、进度条、与当前目标无关的代码段,才是工程上更稳妥的方向。

四、核心难点:不跑完全程,怎么验证压缩质量

最直接的验证办法是让Agent读完压缩结果把任务跑完。但这条路很难低成本实施:

  1. 同一份observation存在大量可能的压缩方式,每种都跑完整任务,成本无法承受。
  2. 一次任务里要压缩很多次,最终成败难以归因到某一次压缩。

CoACT的解法是把评估粒度从“整条轨迹”降到“下一步动作”:比较压缩前后Agent在同一状态下选择的动作是否一致。动作一致,说明被删的信息没有影响决策;动作偏离,说明压缩伤到了关键信息。这样单次压缩的评估只需一次前向推理(采样多次时为n次),成本可控,也能精确定位是哪一次压缩出了问题。

评估逻辑的伪代码如下(细节请按实际框架调整):

  1. def action_consistent(state, obs_raw, obs_compressed, agent, model, n=1):
  2. """同一状态下,比较压缩前后Agent选择的动作是否一致。
  3. 参数:
  4. obs_raw, obs_compressed:同一份observation的原文与压缩结果
  5. n:每个状态采样次数,>1 时比较动作分布而非单次动作
  6. 返回:
  7. (是否一致, 一致率);n=1 时返回单次动作是否相同
  8. """
  9. # 1. 固定模型版本、提示词模板、工具schema与解码参数
  10. # 2. 确定性回放:回放历史动作,恢复到state对应的状态
  11. state = replay_to_state(state)
  12. # 3. 同一状态下,分别基于原文和压缩结果各采样n次
  13. acts_raw = [agent.decide(state, obs_raw) for _ in range(n)]
  14. acts_cmp = [agent.decide(state, obs_compressed) for _ in range(n)]
  15. # 4. 比较动作:工具名与关键参数一致才算相同
  16. # (文件路径、命令、行号等;忽略时间戳等无关字段)
  17. same = sum(is_same_action(a, b) for a, b in zip(acts_raw, acts_cmp))
  18. if n == 1:
  19. return same == 1, float(same)
  20. return same / n >= ACTION_MATCH_THRESHOLD, same / n

不过,动作一致性判断必须控制变量,否则容易高估压缩的无损性。实践中建议固定以下条件:

  • 固定模型版本,不混用不同checkpoint。
  • 固定提示词模板与工具schema。
  • 固定解码参数,例如temperature、top_p、最大输出token。
  • 对同一状态做确定性回放,或使用固定随机种子。
  • 如果业务侧存在随机性,则多次采样后比较动作分布,而不是只比较单次动作。

只有这样,“压缩前后动作一致”才具有可比性。否则模型本身的随机波动可能被误判为压缩造成的损失。

五、工程落地:自建Agent如何借鉴这套思路

即使暂时不用CoACT,下面几条改造在现有Agent框架里就能做。

1. 在observation入栈前加一层压缩钩子

示例阈值可按observation的token分布设定,例如1200 tokens是一个起点。短输出通常不值得压缩,因为压缩prompt、重试和解析本身也有开销。

  1. import json
  2. import time
  3. COMPRESS_TOKEN_THRESHOLD = 1200 # 示例阈值,需按observation长度分布调优
  4. COMPRESS_MAX_TOKENS = 512
  5. MODEL_NAME = "your-model"
  6. TIMEOUT_SEC = 3
  7. RETRY_TIMES = 2
  8. def compress_observation(obs, task_goal, action_history, model):
  9. """工具输出进入上下文前的压缩层。
  10. model需提供统一generate()接口,例如封装为OpenAI-compatible网关。
  11. 以下辅助函数需自行实现:
  12. count_tokens(obs) -> int
  13. parse_json(out) -> dict
  14. require_schema(payload, version=1) -> None
  15. render_observation(payload) -> str
  16. """
  17. if count_tokens(obs) < COMPRESS_TOKEN_THRESHOLD:
  18. return obs
  19. prompt = f"""任务目标:{task_goal}
  20. 已执行动作:{action_history[-3:]}
  21. 下面是工具输出,请压缩成结构化结果。必须保留:
  22. - 文件路径与行号
  23. - 错误码、异常类型、关键堆栈帧
  24. - 测试失败用例名称
  25. - 与当前任务直接相关的代码或日志片段
  26. 请删除:重复日志、进度条、与当前目标无关的代码段。
  27. 输出JSON,schema必须可解析:
  28. {{
  29. "schema_version": 1,
  30. "summary": "不超过200字",
  31. "keep": ["必须保留的信息"],
  32. "drop": ["可删除的信息"],
  33. "locators": ["文件路径或错误定位"]
  34. }}
  35. """
  36. last_error = None
  37. for attempt in range(RETRY_TIMES + 1):
  38. try:
  39. out = model.generate(
  40. prompt=prompt,
  41. model=MODEL_NAME,
  42. temperature=0,
  43. top_p=1,
  44. max_completion_tokens=COMPRESS_MAX_TOKENS,
  45. timeout=TIMEOUT_SEC,
  46. )
  47. payload = parse_json(out)
  48. require_schema(payload, version=1)
  49. return render_observation(payload)
  50. except Exception as exc:
  51. last_error = exc
  52. if attempt < RETRY_TIMES:
  53. time.sleep(0.2 * (attempt + 1))
  54. # 压缩失败或结果不可用时,回退原文,避免丢失关键信息
  55. return obs

辅助函数的输入输出与失败语义(需自行实现或复用现有工具链):

  • count_tokens(obs) -> int:返回observation的token数。应使用与所用模型或网关一致的分词器;无法精确计数时,可用字符数近似并预留余量。
  • parse_json(out) -> dict:从模型输出中解析JSON,需容忍Markdown代码块包裹。解析失败时抛出异常。
  • require_schema(payload, version=1) -> None:校验schema版本与必需字段(summary、keep、drop、locators)。缺失或类型不符时抛出异常。
  • render_observation(payload) -> str:把JSON渲染成Agent可消费的文本。建议字段按“定位信息→保留内容→删除说明”的顺序排列,因为模型通常对开头的内容更敏感。渲染后若token数反而变多,视为压缩失败,回退原文。

任何一步抛出异常,都会被外层捕获并触发重试;重试耗尽后返回原文,确保信息不丢失。示例只覆盖单次压缩,上线时还应在调用处打点,记录原文与压缩结果的token数、耗时和压缩是否成功。

这个示例包含四个关键工程点:阈值控制、模型调用方式、超时重试、压缩失败回退原文。生产环境中,阈值不应拍脑袋设定,而要结合observation长度分布、压缩失败率和任务成功率进行调优。

2. 用参数直接卡住输出上限

生成token是延迟和费用最高的一环,减少输出token能显著降低开销。结构化输出尤其值得优化:缩短字段名、删除可选字段或重复字段、合并同义字段,并保持输出schema可解析。

例如,不要为了“写得更像摘要”而生成大段自然语言,而是输出固定字段:保留项、删除项、关键定位信息。这样既节省token,也便于后续校验。

3. 结构化输出优先于自由文本

让压缩结果输出为固定字段,比让模型自由写摘要更可控,也便于做动作一致性校验。建议至少包含:

  • summary:简要说明保留了什么;
  • keep:必须进入上下文的信息;
  • drop:已删除或认为无关的信息;
  • locators:文件路径、行号、错误码、失败用例等定位信息。

如果压缩结果无法被解析或schema校验失败,应直接回退原文。

4. 检索类场景同理:控制召回片段而非全量塞入

RAG类Agent的上下文膨胀来自检索片段。合理设置分段最大长度、分段重叠比,以及“文档检索分段数”上限,能在信息完整性与token成本之间取得平衡。分段重叠比的作用是减少检索片段缺失关键信息,本质上是同一种“少而准”的思路。

5. 代码执行环境隔离

压缩后的代码仍要真实运行验证,建议放在隔离沙箱中执行,避免Agent生成的代码影响宿主环境。需要说明的是,沙箱启动时延取决于具体实现、镜像大小、资源调度和并发情况,不能简单理解为“一定毫秒级”。生产上线前应压测验证冷启动、并发创建与超时行为。

六、成本视角:省下的33%从哪来

33%是总token消耗的降幅,不是单价的降幅。对账单的实际影响取决于计费结构:

  1. 单任务成本 ≈ Σ(每步输入token × 输入单价 + 每步输出token × 输出单价)

CoACT同时压低了“每步输入token”和“步数”,因为减少了重复读取,所以收益可能是乘法级的。

关于任务成功率,作者报告在部分评测中压缩后PASS@1略有提升。这一结论依赖具体的模型、数据集与解码设置,不能直接当作通用规律,也不能简单理解为“压缩一定无损”。它说明的是:当压缩判据围绕任务动作而非文本相似度时,信息聚焦反而可能帮助决策。

如果要引用或复现33%这个收益,建议至少补充以下测量口径:

  • 数据集:SWE-bench Verified、Terminal-Bench,以及样本数量;
  • 模型:具体模型型号或三个被评测Agent模型;
  • 解码参数:temperature、top_p、最大输出token、随机种子或确定性回放;
  • 基线:同一Agent、同一工具、同一提示词下不压缩observation;
  • 统计方式:按任务汇总输入与输出token,计算总token平均降幅,并报告PASS@1、方差与失败样例。

上线后,建议按Agent会话维度监控token分布,定位是observation膨胀还是轮数过多导致的成本上升。

七、验收指标:上线前应该看什么

为了判断压缩策略是否真的有效,不能只看主观感受,而应建立一组可验收指标:

指标 定义 验收建议
动作一致率 压缩前后Agent下一步动作一致的比例 不设统一硬门槛,按任务风险与基线波动确定(见下文)
任务成功率 PASS@1或人工判定完成率 不低于未压缩基线,允许小幅波动但需记录原因
token节省 总输入、输出token的降幅 目标是总token降低20%到35%,并核对成本账单
重复读取率 Agent重复读取同一文件、同一日志或同一搜索结果的次数 应下降或至少不上升,否则说明压缩可能丢失关键定位信息
压缩失败率 超时、解析失败、schema校验失败的比例 需要监控,失败时自动回退原文

动作一致率的合格线建议按以下方式确定:

  1. 对同一批状态下未压缩的Agent多次采样,得到基线一致率r_base与波动幅度Δ;
  2. 按任务风险设定可容忍下降幅度:高风险任务从严,低风险任务可适当放宽;
  3. 小流量灰度时对比压缩组与对照组,除一致率外,同时卡住任务成功率、重复读取率与token节省;
  4. 达到验收标准后再逐步放量,任一指标明显劣化即回退阈值。

这套指标可以帮助团队区分三种情况:token下降且任务成功率稳定;token下降但重复读取增加;token未下降但压缩开销增加。只有第一种才值得扩大灰度。

八、常见错误与FAQ

在工程化压缩observation时,常见错误有三类:

  1. 阈值过低:短日志、短报错也被压缩,导致错误码、堆栈帧或失败用例丢失。应只对超过阈值的observation做压缩。
  2. 保留字段过多:如果prompt要求保留大量“可能有用”的信息,压缩结果不会显著变短,token节省有限。应围绕当前任务目标保留最小必要信息。
  3. 压缩失败不回退:模型超时、输出非法JSON、schema不匹配时,如果直接吞掉异常并继续执行,Agent可能看不到必要信息。正确做法是回退原文,并记录失败原因。

Q1:动作一致性如何校验?
A:在同一状态下,把原始与压缩后的observation分别交给同一模型(固定版本、提示词与解码参数),比较选择的动作(工具名与关键参数)。有随机性时各采样多次,比较动作分布。一致说明被删信息没有影响决策,偏离说明压缩伤到了关键信息。务必控制变量,否则会把模型自身的随机波动误判为压缩损失。

Q2:压缩失败如何回退?
A:超时、输出非法JSON、schema校验失败都视为失败,先按短退避重试,耗尽后回退原文并记录失败原因(如超时、解析错误、字段缺失)。上线后持续监控失败率,失败率上升时优先检查压缩prompt与模型版本,而不是直接调高超时。

Q3:阈值怎么调?
A:先统计observation的token分布(如P50/P90/P99),阈值从长尾起点设起,让占比一小部分的长输出进入压缩。然后按“token节省/压缩失败率/任务成功率”的组合,在小流量灰度中小步调整,每次只改一个变量。下限是压缩本身的prompt与输出开销:如果压缩一次的开销接近或超过它节省的token,就应调高阈值。

九、局限与总结

CoACT的验证主要集中在SWE-bench Verified的200个实例、三个Agent模型上。跨到Terminal-Bench这类超长终端交互场景,以及多模态observation(截图、UI渲染)时,动作一致性的判据是否仍然成立,还需要更多验证。

此外,压缩本身也要消耗token。当observation很短时,压缩可能得不偿失,因此阈值设定是实践中必须调的参数。对于高不确定性任务,建议先小流量灰度,并保留原始observation轨迹用于审计和回滚。

关于本文引用的33%及observation占比数据:这些来自作者在论文中的表述。论文链接与会议接收状态请以官方或论文页面核验为准,未核验前建议标注为“作者声明,待官方核验”。

一句话总结:Coding Agent的上下文治理,正在从“写更好的prompt”转向“更聪明地管理工具输出”。谁能在不牺牲任务成功率的前提下压住observation,谁就能在长任务场景里拿到实打实的成本优势。