简介:Agent 记忆的筛选与调用,该交给固定规则还是大模型?本文给出结论:这是伪二选一。文章先定义这一概念,说明记忆系统的目标是“在对的时刻用对的那一条,在错的时刻保持沉默”。文章再拆解纯规则误召回、纯模型偏好污染两类失效,阐明“规则管能不能、模型管该不该”的双层架构,并给出核心组成、运行流程、典型场景、与 RAG 及长上下文的区别和落地注意事项。
记忆是智能体(Agent)区别于单次问答工具的核心能力之一。它让 Agent 能够跨轮次、跨会话记住用户是谁、做过什么、偏好什么、正在推进什么任务。但“拥有记忆”与“用好记忆”是两件事。信息存得越多,越会面临一个绕不开的问题:下一次对话开始时,究竟该把哪些内容放回模型的上下文里?
Agent 记忆的筛选与调用,是指智能体在运行时,从已沉淀的长期记忆(也包括工作记忆和任务上下文)中,判断哪些内容与当前请求有关、哪些内容被允许使用,把选中的内容组织成上下文片段注入模型,并据此决定调用、不调用或部分调用的机制。它位于“记忆存储”与“模型生成”之间,是记忆真正影响 Agent 行为的唯一出口。
可以从三个视角理解这一概念:
据此可以给出更完整的定义:
Agent 记忆的筛选与调用,是在运行时依据“允许与否”和“相关与否”两类约束,从长期记忆中选取恰当的内容注入上下文,并决定何时调用、调用什么、是否保持沉默的一套机制。
这里最值得强调的是对目标的重新表述:记忆系统的目标不是“记得越多越好”,而是“在对的时刻用对的那一条,在错的时刻保持沉默”。 前者衡量记忆的广度,决定 Agent 能覆盖多少个性化场景;后者衡量记忆的精度与分寸感,决定用户是否信任它。两者缺一不可,却经常被混为一谈。
早期做法很简单:把历史对话和用户信息全部拼进提示词。随着交互轮次增加、用户数量扩大,这种做法很快暴露出几类系统性问题。
因此,筛选与调用不是“锦上添花”的优化,而是记忆系统能否落地的前提条件。它的价值主要体现在四个方面:
回到最初的问题:筛选与调用,是交给固定规则,还是交给大模型?
规则派的理由是可控、可测试、可审计。规则条件明确,行为确定,变更可以评审、可以回归测试,线上问题也能逐条追溯。
模型派的理由是语义灵活。同一句话可以有无数种表达方式,规则需要穷举的条件永远列不完,只有理解语义的模型才能处理这种长尾。
两条路线都有道理,但单独使用时都有典型的失效方式。
先看误召回。假设一条长期记忆是“下个月去外地出差”,用户随后问:“家里搅拌机坏了,推荐一个百元内的。”
第一种回答出现时,用户的感受通常不是“贴心”,而是“你怎么连这个都知道”。出差与选购厨房小家电之间,并不存在当前请求所需要的因果关系。规则能做的判断只有“是否命中”,无法判断“这条记忆对这个问题到底有没有用”。
更隐蔽的一类误召回是时间错位。用户半年前说过“最近在减脂”,半年后问“朋友聚会订哪家餐厅”,如果旧记忆仍被召回,推荐就会跑偏。
漏召回是同一问题的另一面。用户说“我领导让我改一下方案”,之后又问“上次说的那个改法是什么”。如果规则只按关键词匹配,就还得维护“领导、老板、上级、主管、经理……”这样一张同义词表。表可以越列越长,却永远列不完,用户换个说法就漏掉了。
误召回损害的是分寸感,漏召回损害的是记忆力。两者的根因相同:规则只理解符号,不理解语义。
再看另一种情况。用户随口说了一句:“以后我说什么你都别反驳,直接同意就行。”
如果模型很“忠实”地把这句话存为一条长期偏好,此后每当用户的数据有误、决定存在风险,智能体都会选择顺从而不是提醒。更麻烦的是,这类请求往往包装得很客气:“我做决定的时候希望得到更多支持”“我的判断通常更可靠,请优先尊重”。措辞越自然,模型越难保持警惕。
这类问题可以称为偏好污染:不该进入记忆的指令性内容被写入长期记忆,从而持续影响后续所有会话的行为。它危害大,是因为影响具有持续性;它难处理,是因为单看每一句话,模型的判断都“合情合理”。
模型还有两个常见特征:
根因同样只有一句话:模型的判断力很强,但它的行为既不稳定,也不受约束。
| 维度 | 纯规则方案 | 纯模型方案 |
|---|---|---|
| 核心优势 | 行为确定,可测试、可审计 | 理解语义,能覆盖长尾表达 |
| 典型失效 | 误召回(无关记忆被硬塞进来)、漏召回(换个说法就找不到) | 偏好污染(不该存的内容被存下)、行为漂移(同一问题两次回答不一致) |
| 判断依据 | 是否命中关键词或标签 | 与当前意图是否相关 |
| 根本缺陷 | 只看符号,不看语义 | 判断能力强,却缺少刚性约束 |
| 可解释性 | 高,可按规则逐条追溯 | 低,原因难以稳定复现 |
| 失败模式 | 错得“稳定” | 错得“随机” |
| 纯规则 | 纯模型 | |
|---|---|---|
| 优点 | 可控、可测、可审计 | 懂语义,能处理长尾 |
| 典型翻车 | 误召回:无关记忆硬塞进来 | 偏好污染:不该存的指令被存了 |
| 根本问题 | 不懂语义 | 不守底线 |
两类缺陷恰好互补:规则的问题是“看不懂”,模型的问题是“管不住”。正因为一个懂语义但不受约束,一个守得住约束却不懂语义,正确的做法不是在两者之间二选一,而是让它们各司其职。
可以用一句话概括这套分工:
规则管“能不能”,模型管“该不该”。规则保证不出事,模型保证好用。
两者之间是串行关系,而不是并列投票:规则先做“准入”,模型再做“择优”。任何一条记忆想进入上下文,都必须先通过规则,再接受模型排序。逻辑上可以写成:
允许调用 = 规则准入(能不能) AND 模型判定(该不该)
这条公式的写法本身就有讲究:两者是“与”的关系,不是“或”,规则是否决权而不是加分项。另一种常见的错误做法是把模型也当成一个“审批者”,让它判断某条敏感信息能不能用。模型的判断是概率性的,今天能拦住,换个问法明天就可能拦不住;安全边界必须建立在确定性规则之上,不能建立在概率之上。
| 类别 | 要回答的问题 | 典型规则举例 |
|---|---|---|
| 敏感信息 | 内容本身是否允许长期保存和使用 | 身份证号、银行卡号、账户凭证、未成年人身份信息等一律不入库;密码、密钥等凭据不入记忆 |
| 权限边界 | 使用者和数据主体是否匹配 | 会话用户与记忆所属用户一致;跨租户记忆严格隔离;脱敏后的记忆仍按原敏感级别管控 |
| 时效状态 | 记忆当前是否仍然有效 | 设置有效期与衰减策略;用户更新或撤回后旧版本失效;已过期的临时信息(如“下周出差”)不再注入 |
| 内容形态 | 是否属于会影响行为边界的指令 | 要求智能体放弃提醒、不做风险提示、始终顺从的请求不写入长期偏好 |
其中第四类最容易被忽视。这类规则不应只靠模型“自觉”识别,而是要把“识别指令型操纵”本身也做成一条规则,或在模型判定之后再用规则做二次校验。两者结合,远比单独依赖任何一边可靠。
模型层关注的不是“能不能”,而是“值不值得”。它需要回答三个问题:
以出差那条记忆为例:当用户问“出差要带什么转换插头”时,它高度相关;当用户问“推荐百元内的搅拌机”时,它与当前任务无关,应当保持沉默。同一个片段,在一种场景下必须调用,在另一种场景下必须沉默,这正是规则无法覆盖、必须由语义判断来完成的部分。
面试里常见的提问方式是“二选一”,它考察的其实是候选人有没有建立起分层思维。只回答“用规则”,说明只看到了确定性的价值,低估了语义的复杂性;只回答“用模型”,说明只看到了灵活性,低估了安全与一致性的成本。而能把问题拆成“准入”与“择优”两个层次,分别给出各自的判定标准与失效边界,才说明真正理解了这个问题的结构。
更进一步说,这种分工不是静态的。规则决定记忆的下限,模型决定记忆的上限。 规则的完备程度决定系统最坏情况下的表现,模型判断的质量决定系统在正常情况下能有多好用。
从工程落地角度看,记忆的筛选与调用不是单点功能,而是一条贯穿记忆生命周期的链路,至少包含五个模块。
| 模块 | 主要职责 | 判定方式 | 失败后果 |
|---|---|---|---|
| 写入准入 | 决定一条信息是否进入长期记忆 | 规则为主 | 不该存的内容被持久保存 |
| 存储与索引 | 组织、压缩并索引长期记忆,附加来源、时间、可见范围等元信息 | 工程实现 | 检索不到,或检索结果缺乏上下文 |
| 筛选与调用 | 召回候选记忆,做准入过滤、相关性排序与上下文装配 | 规则 + 模型 | 误召回、漏召回、注入越界内容 |
| 反馈与遗忘 | 根据调用效果与用户反馈修正记忆,更新或删除过期内容 | 规则 + 模型 | 错误记忆长期留存,越用越偏 |
| 观测与审计 | 记录写入、召回、过滤、注入的全链路日志 | 工程实现 | 出现问题无法定位、无法回溯 |
其中,筛选与调用模块位于链路核心。下游的“反馈与遗忘”决定记忆能否随用户变化持续更新,上游的“写入准入”决定记忆池是否干净,它们都直接影响筛选与调用的效果。
不少团队只关注“检索时怎么筛”,却忽略了“写入时就要筛”。如果敏感或无效内容一开始就进入了记忆库,后面每一层都要为它付出过滤成本,而且始终存在漏网的风险。写入阶段至少要做到三点:
长期记忆通常同时包含两类信息:一类是结构化的画像字段,如常用语言、所在城市、职业角色;另一类是非结构化的叙述片段,如用户描述过的问题背景。前者适合用关系型数据库或键值存储按字段精确查询,后者通常借助向量检索按语义相似度召回。
实际系统中常把两者结合:
需要提醒的是,向量相似度衡量的是“像不像”,而不是“该不该用”。它只能作为候选来源,不能替代准入判断。
筛选与调用的输出不只是“用”或“不用”,而至少包括三种结果:
“部分调用”经常被忽略,却往往是分寸感的关键。与其把用户画像整段塞进去,不如只调用“当前正在处理的问题背景”。
一次记忆调用通常会依次经过四道关卡,逐层收窄候选范围。
下面是一段示意性伪代码,用来说明三层的执行顺序:
def build_memory_context(query, session, mem_store, rules, ranker, budget):# 第一层:候选召回——目标是“找得到”,允许一定的噪声candidates = mem_store.search(query, user_id=session.user_id, top_k=50)# 第二层:规则准入——管“能不能”,任一不满足即拒绝,并记录原因admitted, rejected = [], []for m in candidates:reason = rules.check(m, session) # 敏感信息、权限边界、时效状态、内容形态if reason is None:admitted.append(m)else:rejected.append((m.id, reason)) # 写入审计日志,便于追溯# 第三层:模型判定——管“该不该”,评估相关性、时机与冲突scored = ranker.score(query, admitted, context=session.recent_dialog)selected = [m for m in scoredif m.relevance >= THRESHOLD and m.source != session.user_id # 兜底:不接受他人记忆]selected = ranker.deduplicate(selected) # 去重selected = ranker.resolve_conflicts(selected) # 冲突消解,新者优先# 第四层:预算装配——注入时保留来源与时间return budget.pack(selected)
这段伪代码中有三个细节值得注意:
m.source != session.user_id 是一个兜底的权限校验。即便上游召回环节出现越权错误,这里也能再次拦截。随着规则数量增加,把所有条件堆进一个函数会迅速变得难以维护。常见的做法是把规则组织成一条可配置、可观测的责任链,每条规则只做一件事:
SensitiveDataRule -> 拦截证件号、银行账号等敏感内容SameUserRule -> 只允许调用属于当前会话用户的记忆TimeValidityRule -> 丢弃已过期或已被更新覆盖的记忆ManipulationRule -> 拦截要求放弃风险提示、始终顺从等指令型记忆
每条规则都有独立的标识与拒绝原因,便于:
模型层一般不负责“从零生成答案”,而是承担判别与排序工作。实现方式大致有三类:
无论哪种方式,都要明确两点:模型判断是概率性的,需要阈值控制与评测集验证;模型的输出不能直接决定敏感内容的存废,它只在规则准入之后发挥作用。
两层之间还需要一份共同的“判定标准”,否则规则放行、模型收紧,或规则拦截、模型“想方设法”绕开的情况都会频繁出现。可行做法是为记忆打上结构化标签,例如:
personal_fact:个人事实,如所在城市、职业;task_context:任务背景,如正在处理的问题;behavior_directive:行为指令,如要求改变回复方式。规则层按标签实施差异化管控:personal_fact 受敏感级别约束,task_context 受有效期约束,behavior_directive 需要更严格的写入审核。模型层则依据标签调整相关性评估的尺度:对 personal_fact,重点判断与当前任务是否存在真实关联;对 task_context,重点判断当前是否仍处在同一任务链路上。
此外,模型层的结果应回流到规则与记忆本身:
| 场景 | 规则层主要守住什么 | 模型层主要判断什么 | 调用效果 |
|---|---|---|---|
| 智能客服 | 不同用户的会话隔离;证件、账户信息不进入上下文 | 历史工单与当前问题是否属于同一类故障 | 无需重复描述问题,又不暴露无关订单信息 |
| 个人助理 | 健康、位置等敏感信息的调用边界 | 用户当前提到的事项与过往安排之间的关系 | 主动提醒相关日程,不主动翻出无关旧事 |
| 研发与运维助手 | 不把密码、密钥写入长期记忆;生产操作前仍需确认 | 当前任务与历史故障、技术方案之间的关联 | 复用过去排查经验,同时保留必要的安全确认 |
| 数据分析助手 | 按角色控制可访问的数据范围 | 当前分析问题与历史口径、指标定义的关系 | 口径一致,又不越权取数 |
| 教育与咨询类助手 | 未成年人相关身份信息不存储;咨询内容限定在既定范围 | 当前问题与用户过往学习或咨询背景的联系 | 回答连贯,但不触碰隐私与专业边界 |
以智能客服为例,如果一条长期记忆记录了用户的某次退款投诉,当用户咨询“如何修改收货地址”时,正确的做法是只调用收货地址相关的信息,而不是在回复开头提一句“上次退款还顺利吗”。后者看起来是关怀,实际上是把无关记忆强加给了用户。
RAG 面向的主要是相对稳定、可共享的知识,如产品文档、制度规范、知识库文章;记忆面向的是持续演化、与具体用户绑定的私有信息。二者最本质的区别在于生命周期:
| 维度 | RAG | 记忆筛选与调用 |
|---|---|---|
| 知识来源 | 外部文档与知识库,面向所有使用者 | 用户在交互中产生的私有信息 |
| 更新方式 | 文档更新后重建索引,相对稳定 | 随对话持续写入、更新、失效 |
| 核心矛盾 | 召回是否充分、答案是否有依据 | 隐私边界、相关性与时机 |
| 筛选重点 | 与问题相关的知识片段 | 允许使用的个性化信息 |
| 失败代价 | 答案缺少依据或不够全面 | 侵犯隐私或让用户感到被冒犯 |
实际系统中两者经常共用检索与排序的基础设施,但治理目标不同:RAG 的核心指标是覆盖率与答案忠实度,记忆的核心指标是精准度与边界安全。
长上下文解决的是“装得下”的问题,记忆筛选解决的是“该不该装”的问题。上下文窗口再长,也不能成为全量注入的理由。原因有三点:成本与延迟随长度增长,无关内容会干扰生成,敏感信息的暴露面随内容增多而扩大。长上下文是容量条件,筛选与调用是治理条件,二者并不互相替代。
用户画像是记忆筛选与调用的产物之一,但不等同于它。画像是“关于用户的事实集合”,回答的是“用户是谁”;筛选与调用是“使用这些事实的规则与流程”,回答的是“此刻能不能用、该不该用”。一套画像系统如果缺少筛选与调用层,就会退化为一张随时可能被原样塞进提示词的标签表。
提示词工程关注如何组织指令、示例与输出格式,属于“怎么问”。记忆筛选与调用关注上下文中应该出现哪些用户相关的信息,属于“给模型看什么”。二者在上下文装配环节交汇,但关注点不同:前者追求指令清晰,后者追求信息恰当。
遗忘解决的是“不再保留什么”,筛选与调用解决的是“这一刻使用什么”。一条记忆即使永远不会被彻底删除,也应该在多数时刻保持沉默。有效的记忆系统同时需要“主动遗忘”与“被动沉默”:前者从源头减少无效记忆,后者在运行时控制使用边界。
凡是涉及“泄露后会造成实际损害”的信息,如证件号、银行账号、密码密钥、未成年人身份等,应由写入规则直接拦截,而不是依赖模型在调用时“自行判断”。模型可以被用来识别更多形态的敏感内容,但最终拦截必须由确定的规则完成。
每条规则都应配有明确的测试用例,覆盖典型场景和已知的历史故障。规则变更后,在影子环境中先用历史流量回放验证,再逐步放量,避免一条看似无害的调整引发大面积误拦截或漏拦截。
相关性阈值并非越高越好。阈值过高会退化为漏召回,让 Agent 显得“什么都不记得”;阈值过低又会把噪声记忆带进上下文。更合理的做法是按场景分级:涉及安全、支付、不可逆操作的任务从严,普通咨询类任务适当放宽。
用户应当能够查看智能体检 containing 了哪些关于自己的长期记忆,并能修改或删除。这不仅符合个人信息保护的一般要求,也是最有效的纠错手段:用户发现一条错误记忆后,可以从源头消除它长期带来的负面影响。
“下周搬家”“正在找工作”这类信息都有明确的时效性,应随任务结束逐步降权或归档。对长期有效的偏好,也要定期与用户确认是否仍然成立,避免用户早已改变的想法一直沿用。
当新旧记忆矛盾时,默认策略通常是“新者优先”,但也要区分场景:
冲突无法自动消解时,应主动询问用户,而不是自行猜测。
筛选链路每增加一层都会带来额外开销。实际落地中需要:
从架构上看,记忆的筛选与调用通常包含一条异步写入链路和一条同步调用链路。
写入链路:会话结束后提取候选记忆,依次经过敏感信息检测与规则校验,通过的内容连同来源、时间、可见范围等元数据,写入长期记忆存储并建立索引。写入量较大时,可借助消息队列做异步解耦与削峰。
调用链路:每轮请求到来时,依次执行候选召回、规则准入、模型判定与上下文装配,并将结果注入模型。链路较短、要求低延迟,通常部署在容器平台上,配合负载均衡实现多实例与弹性伸缩。
在云上实现这套架构时,可以按需选用几类通用能力(以百度智能云为例,这类能力通常以通用云服务的形式提供):
具体选型应结合数据规模、调用频次、延迟要求与合规要求综合判断,不必追求组件越多越好。对于中小规模应用,先用“结构化存储 + 关键词检索 + 规则过滤”跑通闭环,再逐步引入语义检索与模型排序,往往是更稳妥的路径。
回到最初的问题:Agent 记忆的筛选和调用,到底该交给固定规则还是大模型?
答案不是二选一,而是分工:
理解了这层分工,也就理解了记忆系统的设计目标:它不是在比谁记得多,而是在比谁用得准。规则保证不出事,模型保证好用;缺了前者,AI 会让人不安全;缺了后者,AI 会让人觉得笨。 在真实的 Agent 系统中,这两者从来不是相互替代的选择题,而是同一条链路上的前后两道工序。