Long-Horizon Agents 架构全解:让智能体连续工作数天

作者:十万个为什么2026.11.17 03:43浏览量:0

简介:长时程 Agent 的瓶颈往往不在模型,而在它周围那个"世界"。本文拆解持久状态、分层记忆、异步事件、带副作用工具、检查点恢复、延迟奖励与信用分配等关键设计,给出可落地的代码骨架、故障恢复矩阵与评测思路,并说明如何用百度智能云词元所完成多模型选型与统一接入。

一、先承认差距:Demo 与长时程系统是两回事

一个要连续工作数小时甚至数天的 Agent,需要的不是更长的上下文窗口,而是一个能在它周围持续存在的世界:状态可以跨重启保存,记忆只保留真正重要的内容,事件能够异步到达,工具会真实改变世界,检查点支持故障恢复,而奖励在数千次动作之后仍然表达着最初的目标。

打开网页、调几个工具、改一段代码,几分钟跑出漂亮结果——这类演示已经过剩。真正难的是让 Agent 连续跑十二小时、三天,中间还能记住关键事实、等待外部反馈、处理突发事件、从失败中恢复,并为早先的决定承担后果。

在动手搭建这个”世界”之前,还有一个前置问题:用什么模型来驱动它。长时程任务通常要混用不同能力、不同价位的模型——规划用强推理模型,批量执行用便宜模型,抽取和打标用小模型。在百度智能云词元所上可以先做一轮模型发现与选型,横向对比不同模型的能力定位、调用成本与性能表现,再通过统一 API 接入,避免为每个模型单独写一套 SDK 适配层。对按 Token 计费的长时程任务来说,这种”先比价再定型”的流程往往能直接砍掉可观成本。

二、切入点不是模型,是环境

深度学习把能力边界推高了一截,语言模型又往前推了一步。DeepSeek 的 GRPO 通过比较同一问题下多条采样结果的相对奖励来提升推理能力,省掉了独立的价值网络;Thinking Machines Lab 的 on-policy distillation 研究的是另一件事:让小模型沿着自己实际生成的轨迹行动,同时接受更强教师模型的逐步指导。这两条路线指向同一个方向——Agent 不只是生成答案,还要在反复交互中推理、行动、获得反馈,再继续改进。

但恰恰是这里,”看起来很聪明的演示”和”真正可靠的长时程系统”开始分道扬镳。任务从几分钟拉长到几天,你必须面对持久状态、有效记忆、外部事件、带副作用的工具、故障恢复和延迟奖励。模型能看到什么、能改动什么、能记住什么,最终都由环境决定。

所以讨论长时程 Agent,正确的顺序是:先设计环境,再设计策略。

三、持久状态与检查点:把进程当作可替换零件

长时程 Agent 必须假设自己随时会被杀掉——OOM、节点抢占、发布重启、限流。唯一可靠的做法是把”思考”和”存在”分离:状态外置,进程无状态。

  1. import json, time, uuid
  2. from pathlib import Path
  3. class CheckpointedRunner:
  4. def __init__(self, store: Path, agent, tools):
  5. self.store, self.agent, self.tools = store, agent, tools
  6. def _load(self, run_id: str) -> dict:
  7. p = self.store / f"{run_id}.json"
  8. return json.loads(p.read_text()) if p.exists() else {
  9. "run_id": run_id or str(uuid.uuid4()),
  10. "goal": None, "plan": [], "cursor": 0,
  11. "scratchpad": [], "artifacts": {}, "version": 0,
  12. }
  13. def _save(self, st: dict):
  14. st["version"] += 1
  15. tmp = self.store / f"{st['run_id']}.tmp"
  16. tmp.write_text(json.dumps(st, ensure_ascii=False))
  17. tmp.replace(self.store / f"{st['run_id']}.json") # 原子落盘
  18. def step(self, run_id: str, event: dict | None = None):
  19. st = self._load(run_id)
  20. if event:
  21. st["scratchpad"].append({"type": "event", "at": time.time(), **event})
  22. obs = self.agent.decide(st) # 纯函数:状态 -> 动作
  23. result = self.tools[obs.tool](** obs.args) if obs.tool else None
  24. st["scratchpad"].append({"action": obs.model_dump(), "result": result})
  25. st["cursor"] += 1
  26. self._save(st)
  27. return st

三个要点: 原子写入 (先写临时文件再 rename,避免半截 JSON); 版本号 (用于乐观并发与回放对齐); 动作幂等键 (重放时同一个 action 不能产生两次副作用)。

四、记忆:分层、压缩、只留重要

把全部历史塞进上下文是最常见的死法。可行结构是分层:

层级 内容 生命周期 淘汰策略
工作记忆 当前子任务的观察与动作 单步~数步 随子任务结束丢弃
情节记忆 带时间戳的关键事件、决策及理由 整个 run 摘要压缩 + 向量检索
语义记忆 沉淀下来的环境事实、API 结构、约束 跨 run 冲突时以新证据覆盖
程序性记忆 被验证有效的操作序列/技能 跨 run 成功率低于阈值则下线

压缩的触发条件建议用”预算”而不是”轮数”:当 token 占用超过窗口的某个比例时,对最老的一段做结构化摘要,保留 目标 / 已确认事实 / 未解决问题 / 已排除方案 四个字段。被排除的方案尤其重要——长时程任务里最常见的浪费,是 Agent 三小时后重新尝试两小时前已经失败过的路径。

五、异步事件与带副作用的工具

长时程 Agent 大部分时间应该在 等待 :等构建完成、等审批通过、等外部系统回调。把它写成阻塞轮询,既烧 Token 又浪费配额。更好的形态是事件驱动:Agent 完成一个动作后主动让出,事件总线把结果推回来再唤醒。

工具侧要遵守三条纪律:

  1. 副作用分级 :只读(可随意重试)、幂等写(带幂等键重试)、非幂等写(必须人工或策略审批)。
  2. 补偿而非回滚 :分布式场景下真正可实现的往往是反向操作(发出去的通知无法收回,但可以补发更正)。
  3. 能力声明 :每个工具显式声明前置条件、超时、成本量级,让规划器能在做计划时就判断可行性,而不是执行到一半才发现调不通。

六、延迟奖励与信用分配

数千次动作之后,最终目标仍然要能表达清楚,这是长时程 Agent 最本质的难题。工程上通常三条腿一起用:

  • 结果奖励稀疏但权威 :任务是否达成,由可验证的检查器(测试通过、指标达标、人工验收)给出。
  • 过程奖励密集但可疑 :格式合规、工具调用成功、子目标推进。它容易被”刷分”,必须定期用结果奖励校准。
  • 相对奖励降方差 :借鉴 GRPO 的思路,对同一初始状态采样多条轨迹,用组内相对表现替代绝对打分,能显著降低对奖励尺度的敏感度。

至于把经验固化回模型,on-policy distillation 提供了一条务实路径:让学生模型沿自己真实会走到的状态分布行动,再由教师模型在这些状态上给出细粒度指导。这比纯离线模仿更贴近长时程场景,因为误差累积恰恰发生在学生自己走偏的那些状态上。

信用分配上,一个简单有效的技巧是 给每个动作记录当时的可观测上下文摘要 ,事后归因时只需在摘要上做检索,而不必重放完整轨迹。

七、多智能体协作:靠共享状态,不靠对话

多 Agent 架构在长时程场景的价值,主要不是”分工拟人”,而是 上下文隔离 与 并行 。但纯靠消息传递协同,很快会出现需求漂移——每个 Agent 各自理解的目标开始分叉。

更稳的做法是让协作发生在共享工件上:一份被所有 Agent 读写的状态文件(目标、约束、接口契约、已完成项),加上明确的写入分区。谁改哪一段、冲突如何合并,都要有规则。百度智能云在秒哒这类产品中采用的多 Agent 架构改造思路也印证了这一点:通过文件共享状态来维持应用生成过程中的需求一致性,同时增强沙盒内跨多轮的文件交互能力,以解决上下文长度限制导致的修改失败率高的问题。

八、故障模式与恢复策略

故障 典型表现 恢复策略
进程崩溃 任务中断 从最近检查点重启,动作幂等键去重
上下文溢出 报错或答非所问 触发记忆压缩,丢弃工作记忆层
工具超时/限流 反复失败 指数退避 + 降级到备用模型或备用工具
目标漂移 输出偏离原始需求 每个检查点用原始目标做一致性校验
循环空转 反复同一动作 检测动作序列重复,强制切换策略或上报人工
部分完成 副作用已产生但状态未落盘 用 saga 日志对账,执行补偿动作

其中”循环空转”和”目标漂移”最容易被忽略,因为它们不报错,只是安静地烧掉预算。

九、训练与评估

长时程能力无法用单轮 benchmark 衡量。可用的评估维度至少包括: 任务完成率 (按耗时分档统计)、 关键事实保持率 (中途插入探针问题)、 恢复成功率 (人为注入故障)、 成本效率 (完成单位进度的 Token 与费用)、 人工干预率 。

训练数据上,优先采集真实的长轨迹,并对失败轨迹做重点标注——失败模式比成功路径更能教会模型在哪里会走偏。若要做模型侧的迭代,配合词元所的模型对比与调用管理能力,可以在同一套评测集上横向比较多个候选模型的长时程表现,再决定是精调、换型还是混合路由。

十、落地顺序建议

  1. 先把状态外置和检查点做出来,哪怕 Agent 还很笨——没有它,后面所有优化都无法验证。
  2. 再补事件驱动与工具副作用分级,让 Agent 学会等待而不是空转。
  3. 然后做记忆分层与压缩,把上下文预算变成可控资源。
  4. 最后才是多 Agent、训练与精调。

顺序颠倒的典型后果是:在一个会随时崩溃、无法恢复的系统上反复调 Prompt,收益被噪声完全淹没。

长时程 Agent 的核心认知转变只有一句: 你要建造的不是一段更聪明的推理,而是一个能容纳长期工作的世界 ——状态在其中留存,事件在其中流动,后果在其中累积。模型只是这个世界里的一个可替换零件。