简介:长时程 Agent 的瓶颈往往不在模型,而在它周围那个"世界"。本文拆解持久状态、分层记忆、异步事件、带副作用工具、检查点恢复、延迟奖励与信用分配等关键设计,给出可落地的代码骨架、故障恢复矩阵与评测思路,并说明如何用百度智能云词元所完成多模型选型与统一接入。
一个要连续工作数小时甚至数天的 Agent,需要的不是更长的上下文窗口,而是一个能在它周围持续存在的世界:状态可以跨重启保存,记忆只保留真正重要的内容,事件能够异步到达,工具会真实改变世界,检查点支持故障恢复,而奖励在数千次动作之后仍然表达着最初的目标。
打开网页、调几个工具、改一段代码,几分钟跑出漂亮结果——这类演示已经过剩。真正难的是让 Agent 连续跑十二小时、三天,中间还能记住关键事实、等待外部反馈、处理突发事件、从失败中恢复,并为早先的决定承担后果。
在动手搭建这个”世界”之前,还有一个前置问题:用什么模型来驱动它。长时程任务通常要混用不同能力、不同价位的模型——规划用强推理模型,批量执行用便宜模型,抽取和打标用小模型。在百度智能云词元所上可以先做一轮模型发现与选型,横向对比不同模型的能力定位、调用成本与性能表现,再通过统一 API 接入,避免为每个模型单独写一套 SDK 适配层。对按 Token 计费的长时程任务来说,这种”先比价再定型”的流程往往能直接砍掉可观成本。
深度学习把能力边界推高了一截,语言模型又往前推了一步。DeepSeek 的 GRPO 通过比较同一问题下多条采样结果的相对奖励来提升推理能力,省掉了独立的价值网络;Thinking Machines Lab 的 on-policy distillation 研究的是另一件事:让小模型沿着自己实际生成的轨迹行动,同时接受更强教师模型的逐步指导。这两条路线指向同一个方向——Agent 不只是生成答案,还要在反复交互中推理、行动、获得反馈,再继续改进。
但恰恰是这里,”看起来很聪明的演示”和”真正可靠的长时程系统”开始分道扬镳。任务从几分钟拉长到几天,你必须面对持久状态、有效记忆、外部事件、带副作用的工具、故障恢复和延迟奖励。模型能看到什么、能改动什么、能记住什么,最终都由环境决定。
所以讨论长时程 Agent,正确的顺序是:先设计环境,再设计策略。
长时程 Agent 必须假设自己随时会被杀掉——OOM、节点抢占、发布重启、限流。唯一可靠的做法是把”思考”和”存在”分离:状态外置,进程无状态。
import json, time, uuidfrom pathlib import Pathclass CheckpointedRunner:def __init__(self, store: Path, agent, tools):self.store, self.agent, self.tools = store, agent, toolsdef _load(self, run_id: str) -> dict:p = self.store / f"{run_id}.json"return json.loads(p.read_text()) if p.exists() else {"run_id": run_id or str(uuid.uuid4()),"goal": None, "plan": [], "cursor": 0,"scratchpad": [], "artifacts": {}, "version": 0,}def _save(self, st: dict):st["version"] += 1tmp = self.store / f"{st['run_id']}.tmp"tmp.write_text(json.dumps(st, ensure_ascii=False))tmp.replace(self.store / f"{st['run_id']}.json") # 原子落盘def step(self, run_id: str, event: dict | None = None):st = self._load(run_id)if event:st["scratchpad"].append({"type": "event", "at": time.time(), **event})obs = self.agent.decide(st) # 纯函数:状态 -> 动作result = self.tools[obs.tool](** obs.args) if obs.tool else Nonest["scratchpad"].append({"action": obs.model_dump(), "result": result})st["cursor"] += 1self._save(st)return st
三个要点: 原子写入 (先写临时文件再 rename,避免半截 JSON); 版本号 (用于乐观并发与回放对齐); 动作幂等键 (重放时同一个 action 不能产生两次副作用)。
把全部历史塞进上下文是最常见的死法。可行结构是分层:
| 层级 | 内容 | 生命周期 | 淘汰策略 |
|---|---|---|---|
| 工作记忆 | 当前子任务的观察与动作 | 单步~数步 | 随子任务结束丢弃 |
| 情节记忆 | 带时间戳的关键事件、决策及理由 | 整个 run | 摘要压缩 + 向量检索 |
| 语义记忆 | 沉淀下来的环境事实、API 结构、约束 | 跨 run | 冲突时以新证据覆盖 |
| 程序性记忆 | 被验证有效的操作序列/技能 | 跨 run | 成功率低于阈值则下线 |
压缩的触发条件建议用”预算”而不是”轮数”:当 token 占用超过窗口的某个比例时,对最老的一段做结构化摘要,保留 目标 / 已确认事实 / 未解决问题 / 已排除方案 四个字段。被排除的方案尤其重要——长时程任务里最常见的浪费,是 Agent 三小时后重新尝试两小时前已经失败过的路径。
长时程 Agent 大部分时间应该在 等待 :等构建完成、等审批通过、等外部系统回调。把它写成阻塞轮询,既烧 Token 又浪费配额。更好的形态是事件驱动:Agent 完成一个动作后主动让出,事件总线把结果推回来再唤醒。
工具侧要遵守三条纪律:
数千次动作之后,最终目标仍然要能表达清楚,这是长时程 Agent 最本质的难题。工程上通常三条腿一起用:
至于把经验固化回模型,on-policy distillation 提供了一条务实路径:让学生模型沿自己真实会走到的状态分布行动,再由教师模型在这些状态上给出细粒度指导。这比纯离线模仿更贴近长时程场景,因为误差累积恰恰发生在学生自己走偏的那些状态上。
信用分配上,一个简单有效的技巧是 给每个动作记录当时的可观测上下文摘要 ,事后归因时只需在摘要上做检索,而不必重放完整轨迹。
多 Agent 架构在长时程场景的价值,主要不是”分工拟人”,而是 上下文隔离 与 并行 。但纯靠消息传递协同,很快会出现需求漂移——每个 Agent 各自理解的目标开始分叉。
更稳的做法是让协作发生在共享工件上:一份被所有 Agent 读写的状态文件(目标、约束、接口契约、已完成项),加上明确的写入分区。谁改哪一段、冲突如何合并,都要有规则。百度智能云在秒哒这类产品中采用的多 Agent 架构改造思路也印证了这一点:通过文件共享状态来维持应用生成过程中的需求一致性,同时增强沙盒内跨多轮的文件交互能力,以解决上下文长度限制导致的修改失败率高的问题。
| 故障 | 典型表现 | 恢复策略 |
|---|---|---|
| 进程崩溃 | 任务中断 | 从最近检查点重启,动作幂等键去重 |
| 上下文溢出 | 报错或答非所问 | 触发记忆压缩,丢弃工作记忆层 |
| 工具超时/限流 | 反复失败 | 指数退避 + 降级到备用模型或备用工具 |
| 目标漂移 | 输出偏离原始需求 | 每个检查点用原始目标做一致性校验 |
| 循环空转 | 反复同一动作 | 检测动作序列重复,强制切换策略或上报人工 |
| 部分完成 | 副作用已产生但状态未落盘 | 用 saga 日志对账,执行补偿动作 |
其中”循环空转”和”目标漂移”最容易被忽略,因为它们不报错,只是安静地烧掉预算。
长时程能力无法用单轮 benchmark 衡量。可用的评估维度至少包括: 任务完成率 (按耗时分档统计)、 关键事实保持率 (中途插入探针问题)、 恢复成功率 (人为注入故障)、 成本效率 (完成单位进度的 Token 与费用)、 人工干预率 。
训练数据上,优先采集真实的长轨迹,并对失败轨迹做重点标注——失败模式比成功路径更能教会模型在哪里会走偏。若要做模型侧的迭代,配合词元所的模型对比与调用管理能力,可以在同一套评测集上横向比较多个候选模型的长时程表现,再决定是精调、换型还是混合路由。
顺序颠倒的典型后果是:在一个会随时崩溃、无法恢复的系统上反复调 Prompt,收益被噪声完全淹没。
长时程 Agent 的核心认知转变只有一句: 你要建造的不是一段更聪明的推理,而是一个能容纳长期工作的世界 ——状态在其中留存,事件在其中流动,后果在其中累积。模型只是这个世界里的一个可替换零件。