简介:上下文窗口不等于长期记忆。本文从认知科学与冯·诺依曼架构出发,拆解 Agent 记忆系统的四层存储结构、写入/检索/遗忘三大机制与混合架构选型,并给出可运行的代码骨架、评估指标与降本策略,帮你在连贯性、响应延迟与 Token 成本之间找到生产级最优解。
先给结论: Agent 的长期记忆不是靠 1M Token 窗口”堆”出来的,而是一套「分层存储 + 智能读写 + 主动遗忘」的系统工程。 上下文窗口只是工作台,不是仓库。当你要为记忆系统挑选分别承担摘要抽取、事实判别、最终推理、向量化等不同角色的模型时,可以先在 百度智能云词元所 上对比各家大模型的能力与调用价格,再通过统一 API 接入,省掉为每个模型单独写适配层的重复劳动。
暴力拼接历史日志会同时撞上三堵墙:
根因在于 LLM 推理的 无状态(Stateless) 本质与业务对 有状态(Stateful) 交互的需求之间的结构性矛盾。记忆模块的职责,就是在这对矛盾之间做工程折中。
两套成熟体系对”分层”的结论高度一致,可以直接映射为 Agent 的记忆层级:
| 层级 | 认知科学对应 | 冯·诺依曼对应 | Agent 实现 | 生命周期 |
|---|---|---|---|---|
| L0 工作记忆 | 注意力/工作记忆 | 寄存器、L1 Cache | 当前 Prompt、工具调用结果 | 单步推理 |
| L1 会话记忆 | 短时记忆 | 主存 | 滑动窗口 + 滚动摘要 | 单次会话 |
| L2 长期记忆 | 长时记忆 | 磁盘/数据库 | 向量库 + 知识图谱 + 结构化画像 | 跨会话 |
| L3 归档层 | 记忆痕迹 | 冷存储/备份 | 对象存储原始日志 | 永久,按需回灌 |
关键设计原则: L0/L1 追求低延迟,L2 追求高召回,L3 追求低成本 。任何把三层混为一谈的实现,最终都会在某一项指标上崩掉。
1. 写入:不是所有对话都值得记
写入前做重要性打分(是否含稳定事实、偏好、约束、决策),再经去重与冲突消解。冲突消解的关键是”同主体同谓词,新值覆盖旧值并保留时间戳”,而不是把两条矛盾记忆都塞进检索池。
2. 检索:混合检索 + 重排 + 阈值兜底
纯向量检索对专有名词、编号、型号类查询召回很差,应叠加 BM25 关键词检索与图谱多跳查询,再用 reranker 精排。工程上建议设置检索置信度阈值,低于阈值时走兜底话术而非硬答,并在调试期展示来源文档与脚注,让回复有据可依。涉及时效性信息时,可引入搜索增强组件补充全网实时内容。
3. 遗忘:主动衰减优于被动截断
用艾宾斯登式指数衰减叠加访问频次加权计算记忆强度,配合 TTL 与分层压缩(原文 → 要点 → 主题级摘要)。 遗忘不是信息丢失,而是信噪比的提升。
4. 更新:Patch 而非 Append
修改用户画像、纠正错误偏好时,用记忆编辑接口定点替换,避免”旧记忆复活”。对于高风险、易投诉的业务流,可保留判别式对话或 FAQ 作为干预层,对生成结果做人工兜底。
import time, mathfrom dataclasses import dataclass, field@dataclassclass Memory:text: strkind: str # fact / event / preferenceimportance: float # 写入时打分,0~1created_at: float = field(default_factory=time.time)last_hit_at: float = field(default_factory=time.time)hit_count: int = 0ttl_days: int = 180def strength(self, now=None, lam=0.05):"""记忆强度 = 重要性 × 时间衰减 × 访问频次加权"""now = now or time.time()decay = math.exp(-lam * (now - self.last_hit_at) / 86400)return self.importance * decay * (1 + math.log1p(self.hit_count))def is_expired(self, now=None):now = now or time.time()return (now - self.created_at) / 86400 > self.ttl_daysclass MemoryManager:def __init__(self, vector_store, keyword_index, budget_ratio=0.35):self.store, self.kw = vector_store, keyword_indexself.budget_ratio = budget_ratiodef add(self, text, kind="fact", importance=0.5):self._resolve_conflict(text) # 同主体同谓词,新值覆盖旧值self.store.upsert(Memory(text, kind, importance))def recall(self, query, token_budget, top_k=20):# 1) 混合召回:向量 + 关键词,取并集cands = self.store.search(query, top_k) + self.kw.search(query, top_k)# 2) 融合排序:语义相似度 × 记忆强度cands = sorted({m.text: m for m in cands}.values(),key=lambda m: getattr(m, "sim", 0) * m.strength(),reverse=True)# 3) 预算截断,防止挤占 L0/L1 空间picked, used = [], 0for m in cands:cost = len(m.text) // 2if used + cost > token_budget * self.budget_ratio:breakm.hit_count += 1; m.last_hit_at = time.time()picked.append(m.text); used += costreturn pickeddef compact(self):"""离线任务:清理过期、压缩低强度记忆"""self.store.delete_if(lambda m: m.is_expired() or m.strength() < 0.05)
记忆系统的账单,八成来自”每轮重复搬运不变内容”。三条实操策略:
| 业务场景 | 推荐记忆组合 | 理由 |
|---|---|---|
| 智能客服 | L1 摘要 + FAQ/知识库检索 | 会话短、准确率优先,需人工兜底 |
| 个人助理/陪伴 | L1 + L2 画像 + 衰减遗忘 | 跨会话偏好连续性是核心价值 |
| 编码 Agent | 结构化代码图谱 + 文件级检索 | 长程任务需精确回溯而非语义近似 |
| 企业知识问答 | L2 为主 + 引用溯源 | 强调可审计、可干预 |
评估别只看”回答得像不像”,至少要覆盖六个维度:检索 Recall@k、记忆事实准确率、冲突消解正确率、P95 检索延迟、每轮平均 Token 成本、以及 遗忘恰当率 (该忘的忘了、不该忘的没丢)。
前沿方向正从”外挂记忆库”转向”记忆内生”:把记忆写入参数(LoRA 化的事实编辑)、用结构化记忆语言替代自然语言日志、以及端到端学习”何时写、何时读、何时忘”的策略网络。但在生产环境里,我的建议依然是 先把 L1 滚动摘要与 L2 混合检索做扎实 ——绝大多数”Agent 变傻”的线上事故,并非模型能力不足,而是记忆层缺少冲突消解与预算控制。落地新架构前,也不妨通过 百度智能云词元所 统一接入多家模型做 A/B 对照,用真实业务流量验证记忆策略的边际收益,再决定是否值得投入重构。