受 Dreaming 启发:Agent 记忆巩固设计指南

作者:渣渣辉2026.11.17 03:35浏览量:0

简介:长期运行的 Agent 会因为重复、冲突和过期记忆越跑越乱。本文借鉴 Dreaming 的思路,介绍会话间隙整理记忆的分层设计、结构化字段、冲突消解和检索策略,并给出风控清单,帮助开发者降低 Token 成本,让 Agent 的决策更稳定。

agent-">一、Agent 为什么会记忆退化

很多开发者在做长周期 Agent 时都会遇到类似问题。

  • 第 1 次运行时,Agent 记录了“项目测试命令是 pnpm test”。
  • 第 5 次运行时,记忆库里出现了“用 npm test”“用 yarn test”等不同说法。
  • 第 10 次运行时,部分记录已经过时,部分记录互相矛盾,还有一些只是重复表达。

原因在于,Agent 的记忆通常是局部、增量写入的。每次写入在当时看都合理,但长期累积后,记忆库会变成重复、冲突和过期信息的集合。这会带来三类后果:

  1. 上下文膨胀:无关或重复的记忆占用 Token,推高调用成本。
  2. 检索噪声增加:Agent 召回错误经验,影响任务判断。
  3. 决策不稳定:相似任务在不同会话中得到不一致的结果。

所以,问题的核心不在于让 Agent 变得更聪明,而在于让它具备维护长期记忆的能力。

二、概念边界:Dreaming 式记忆整理是什么

本文所说的 Dreaming,指一种通用的工程设计模式。它在会话结束、任务暂停或定时任务触发时,由一个独立的整理流程回看近期记忆,完成摘要、去重、冲突检测和合并,再把结果写入长期记忆库。

这个名字借用了神经科学中“记忆巩固”的比喻。大脑在睡眠时会重放经历、修剪连接,把短期记忆转为长期记忆。这只是类比,Agent 并不会真正睡眠或做梦。

需要说明的是,本文不是对某个产品官方功能的描述。如果你在使用 Claude Code 或其他平台,请以官方文档为准,确认该平台是否提供原生记忆整理能力、适用版本和配置方式。

该模式的三个阶段如下:

阶段 人类类比 工程实现
重放 回忆白天的经历 读取近期会话、工具调用记录和任务结果
修剪 去掉无用信息 去重、摘要、降低权重、标记过期记忆
巩固 形成长期知识 写入长期记忆库,并记录来源和版本

该模式适合多会话、长周期、需要反复复用项目规则的 Agent,例如编程助手、运维 Agent 和数据分析 Agent。它不适合单次问答、记忆量很小的场景。对于没有审核能力,且记忆会直接影响高风险操作的系统,也不建议直接使用。

三、实现流程

1. 记忆分层

不要把所有信息放进同一个记忆库,建议分为三层:

  • 会话记忆:当前对话的上下文,只在会话内有效。
  • 任务记忆:某个任务执行过程中的中间状态,任务结束后清理或归档。
  • 长期知识:可跨任务复用的规则、偏好、经验和结论,需要经过整理后才能写入。

只有长期知识层会被整理流程处理。这样可以避免临时状态污染长期记忆。

2. 写入时保留结构化字段

每条记忆至少应包含以下字段:

  1. {
  2. "id": "mem_0005",
  3. "content": "该项目测试命令使用 pnpm test",
  4. "source": ["session_123"],
  5. "timestamp": "2026-11-16T10:00:00Z",
  6. "confidence": 0.92,
  7. "tags": ["testing", "project-rule"],
  8. "status": "active",
  9. "version": 3,
  10. "superseded_by": null
  11. }

字段说明如下:

  • source 保存原始会话或工具调用的 ID,便于回溯。
  • confidence 表示可信度,由验证结果、来源类型和人工确认情况共同决定。
  • status 取值为 pending(待确认)、active(生效)、rejected(已否决)或 superseded(已被替代)。
  • version 和 superseded_by 用于版本管理和回滚。

结构化字段是去重、冲突检测和过期判断的基础。没有这些字段,整理流程只能依赖自然语言比较,结果很难复现。

3. 设置触发时机

建议在以下时机触发整理:

  • 单个会话结束后,异步执行,避免阻塞用户请求。
  • 新增记忆超过阈值,例如 50 条。
  • 检测到相似度高于 0.85 的记忆对。
  • 每天凌晨定时执行一次。

以上数值只是起点。正式使用前,应根据历史任务进行离线评测,再调整阈值。

4. 整理流程示例

下面是伪代码,用于说明流程结构。其中的 load_recent_memories、cluster_by_topic 等函数需要自行实现,代码不能直接用于生产环境。生产版本还需要补充权限检查、事务写入和日志审计。

  1. def dreaming(trigger_reason, tenant_id):
  2. try:
  3. memories = load_recent_memories(tenant_id, since_days=7)
  4. except StorageError as e:
  5. log_error("load failed", e)
  6. return
  7. clusters = cluster_by_topic(memories)
  8. for cluster in clusters:
  9. if len(cluster) < 2:
  10. continue
  11. summary = summarize(cluster) # 摘要必须保留 source 列表
  12. conflicts = detect_conflicts(summary)
  13. if conflicts and max_confidence(conflicts) < 0.7:
  14. mark_pending_review(conflicts) # 低置信度冲突交给人工或后续验证
  15. continue
  16. merged = resolve_conflicts(summary, conflicts)
  17. save_to_long_term_memory(merged, tenant_id, version=bump_version())

整理流程的核心能力有三项:

  • 摘要能力:把冗长经历压缩为可复用的知识,并保留原始来源。
  • 冲突检测能力:找出互相矛盾的记忆。
  • 合并决策能力:决定保留、覆盖,还是标记为待确认。

5. 冲突消解规则

冲突消解最好采用明确的规则,再由模型辅助判断。常用规则如下:

  1. 新记忆的来源可以验证时(例如命令执行成功),优先于旧记忆。
  2. 证据强度相当时,两条都保留,并将其中一条标记为 pending。
  3. 置信度低于阈值时,不覆盖已有的 active 记忆。
  4. 被替代的记忆标记为 superseded,不直接删除。

下面是一个最小案例:

  • 第 1 次会话中,pnpm test 执行成功,记录为 active。
  • 第 5 次会话中,Agent 记录了“用 npm test”。执行日志显示该命令失败,且 package.json 的 packageManager 字段为 pnpm。
  • 未整理时,Agent 在第 10 次任务中召回“npm test”,执行失败。
  • 整理后,“npm test”记录被标记为 rejected,pnpm test 保持 active,两条记录的来源都可追溯。

6. 检索策略

长期记忆不应只依赖向量相似度。建议采用混合检索:

  • 向量检索:top_k=20,相似度低于 0.6 的结果直接丢弃,用于找语义相近的经验。
  • 关键词检索:top_k=10,匹配项目名、函数名和错误码。
  • 结构化过滤:只保留 status=active 且 confidence >= 0.7 的记忆。
  • 时效排序:score = 相似度 × 0.8 + 时效分 × 0.2,时效分按 30 天线性衰减。
  • 最终注入:合并去重后,取前 5 条注入上下文。

这些参数的依据是召回率与误用率。建议用一批历史任务离线测试,比较不同参数下的结果,再确定最终取值。

四、成本控制与模型选择

Dreaming 会增加模型调用,包括摘要、分类、冲突判断和合并。模型选择应按任务类型区分:

  • 摘要:需要处理长文本,但对推理要求较低,可优先考虑成本较低的模型,并抽样检查输出质量。
  • 分类打标签:批量处理为主,适合小模型。
  • 冲突判断:需要较强的推理能力。涉及部署、权限等高风险结论时,应使用更强的模型,或转人工确认。
  • 合并决策:建议以规则为主,模型只提供建议,避免完全交由模型决定。

为了验证成本收益,可以在同一批任务上做 A/B 对比,关注以下指标:

  • 每次整理消耗的 Token 数。
  • 整理后单次任务注入的 Token 下降比例。
  • 任务成功率与错误记忆的数量。

如果 Agent 需要调用多个模型,建议统一接口层,便于比较成本并切换模型。

五、风险与风控清单

记忆整理能减少噪声,也会引入新的风险。上线前建议逐项确认:

  • 错误固化:新记忆默认为 pending,在连续 3 次任务中被成功使用后,再转为 active。
  • 过度概括:摘要必须保留 source 列表,支持回溯到原始会话。
  • 隐私与权限:按 tenant_id 和 project_id 隔离存储。写入前,脱敏手机号、密钥、令牌等敏感信息。
  • 记忆污染:来自网页、工具输出或用户上传文件的内容,写入前标记为不可信,需经审核后才能进入长期库。记忆内容不得覆盖系统指令。
  • 版本与回滚:每次整理生成版本快照,支持按版本回滚。superseded 记录至少保留 30 天。
  • 人工审核:部署、权限、支付等高风险领域的记忆,必须经人工确认后才能生效。
  • 监控告警:记录每次召回的记忆 ID 与任务结果。错误率连续上升时,自动暂停整理任务并通知负责人。

六、结论

Dreaming 式的记忆整理,核心是让 Agent 的经验保持准确、可追溯、可回滚。它不能替代提示词设计和模型能力,但能减少长期运行中的记忆退化。

落地时建议从小范围试点开始。选择一个项目,运行两周,比较以下三项指标:记忆条目数量、Token 消耗和任务成功率。数据稳定后,再逐步扩大范围。