Agent记忆的筛选与调用:规则与模型的分工

作者:公子世无双2026.11.16 10:18浏览量:0

简介:Agent 记忆的筛选与调用,该交给固定规则还是大模型?本文给出结论:这是伪二选一。文章先定义这一概念,说明记忆系统的目标是“在对的时刻用对的那一条,在错的时刻保持沉默”。文章再拆解纯规则误召回、纯模型偏好污染两类失效,阐明“规则管能不能、模型管该不该”的双层架构,并给出核心组成、运行流程、典型场景、与 RAG 及长上下文的区别和落地注意事项。

agent-">一、概念定义:什么是 Agent 记忆的筛选与调用

记忆是智能体(Agent)区别于单次问答工具的核心能力之一。它让 Agent 能够跨轮次、跨会话记住用户是谁、做过什么、偏好什么、正在推进什么任务。但“拥有记忆”与“用好记忆”是两件事。信息存得越多,越会面临一个绕不开的问题:下一次对话开始时,究竟该把哪些内容放回模型的上下文里?

Agent 记忆的筛选与调用,是指智能体在运行时,从已沉淀的长期记忆(也包括工作记忆和任务上下文)中,判断哪些内容与当前请求有关、哪些内容被允许使用,把选中的内容组织成上下文片段注入模型,并据此决定调用、不调用或部分调用的机制。它位于“记忆存储”与“模型生成”之间,是记忆真正影响 Agent 行为的唯一出口。

可以从三个视角理解这一概念:

  • 技术视角:它是一套“检索 + 准入控制 + 上下文装配”的运行时机制。输入是当前的对话上下文、任务状态与用户身份信息,输出是一组带有来源与时间标注的记忆片段。
  • 业务视角:它决定智能体的行为是“聪明且有分寸”,还是“笨拙或越界”。同一份记忆,用在合适的时刻是贴心,用在错误的时刻就可能变成冒犯。
  • 用户视角:用户感知不到内部的检索和排序过程,只能感受到结果:AI 有没有记住我说过的事,有没有用我从未提起的信息来揣测我。

据此可以给出更完整的定义:

Agent 记忆的筛选与调用,是在运行时依据“允许与否”和“相关与否”两类约束,从长期记忆中选取恰当的内容注入上下文,并决定何时调用、调用什么、是否保持沉默的一套机制。

这里最值得强调的是对目标的重新表述:记忆系统的目标不是“记得越多越好”,而是“在对的时刻用对的那一条,在错的时刻保持沉默”。 前者衡量记忆的广度,决定 Agent 能覆盖多少个性化场景;后者衡量记忆的精度与分寸感,决定用户是否信任它。两者缺一不可,却经常被混为一谈。

二、背景与价值:为什么不能“全都塞进上下文”

早期做法很简单:把历史对话和用户信息全部拼进提示词。随着交互轮次增加、用户数量扩大,这种做法很快暴露出几类系统性问题。

  1. 上下文是有限资源。 每一轮对话都要重新传递上下文,而模型窗口、首字延迟与推理成本都随上下文长度增长。全量注入在经济上不可持续,在体验上也会拖慢响应。
  2. 无关信息会干扰生成。 即使上下文装得下,大量与当前问题无关的内容也会分散模型注意力,让它抓错重点,甚至被某条看似相关的记忆“带偏”。研究表明,模型对长上下文中部信息的利用效率往往低于首尾,无关内容还会挤占有效信息的权重。
  3. 隐私与权限存在天然边界。 记忆中混杂着用户的个人信息、业务数据和跨租户数据,并非所有内容都可以在任意会话中、面向任意使用者调用。
  4. 记忆的时效与一致性需要维护。 人会改变想法,世界也在变化,过去的记录可能已经过时,多条记忆之间甚至可能相互矛盾。如果不加筛选地把新旧信息一起交给模型,输出会出现前后矛盾。

因此,筛选与调用不是“锦上添花”的优化,而是记忆系统能否落地的前提条件。它的价值主要体现在四个方面:

  • 相关性:让模型的上下文聚焦于当前任务真正需要的信息;
  • 合规性:保证敏感信息不被滥用,不同用户、租户之间的记忆彼此隔离;
  • 一致性:让相同或相似的问题得到稳定、可解释的回答;
  • 经济性:降低无效上下文带来的延迟与成本。

三、两条技术路线,各自如何“翻车”

回到最初的问题:筛选与调用,是交给固定规则,还是交给大模型?

规则派的理由是可控、可测试、可审计。规则条件明确,行为确定,变更可以评审、可以回归测试,线上问题也能逐条追溯。

模型派的理由是语义灵活。同一句话可以有无数种表达方式,规则需要穷举的条件永远列不完,只有理解语义的模型才能处理这种长尾。

两条路线都有道理,但单独使用时都有典型的失效方式。

3.1 纯规则的典型失效:误召回与漏召回

先看误召回。假设一条长期记忆是“下个月去外地出差”,用户随后问:“家里搅拌机坏了,推荐一个百元内的。”

  • ❌ “这款很适合你出差前在酒店里练习做冰沙。”
  • ✅ “百元内优先看大容量款,能打冰、能做冰沙,清洗也方便。”

第一种回答出现时,用户的感受通常不是“贴心”,而是“你怎么连这个都知道”。出差与选购厨房小家电之间,并不存在当前请求所需要的因果关系。规则能做的判断只有“是否命中”,无法判断“这条记忆对这个问题到底有没有用”。

更隐蔽的一类误召回是时间错位。用户半年前说过“最近在减脂”,半年后问“朋友聚会订哪家餐厅”,如果旧记忆仍被召回,推荐就会跑偏。

漏召回是同一问题的另一面。用户说“我领导让我改一下方案”,之后又问“上次说的那个改法是什么”。如果规则只按关键词匹配,就还得维护“领导、老板、上级、主管、经理……”这样一张同义词表。表可以越列越长,却永远列不完,用户换个说法就漏掉了。

误召回损害的是分寸感,漏召回损害的是记忆力。两者的根因相同:规则只理解符号,不理解语义。

3.2 纯模型的典型失效:偏好污染与行为漂移

再看另一种情况。用户随口说了一句:“以后我说什么你都别反驳,直接同意就行。”

如果模型很“忠实”地把这句话存为一条长期偏好,此后每当用户的数据有误、决定存在风险,智能体都会选择顺从而不是提醒。更麻烦的是,这类请求往往包装得很客气:“我做决定的时候希望得到更多支持”“我的判断通常更可靠,请优先尊重”。措辞越自然,模型越难保持警惕。

这类问题可以称为偏好污染:不该进入记忆的指令性内容被写入长期记忆,从而持续影响后续所有会话的行为。它危害大,是因为影响具有持续性;它难处理,是因为单看每一句话,模型的判断都“合情合理”。

模型还有两个常见特征:

  • 行为漂移:同一个问题先后问两次,一次用了记忆、一次没用。对普通体验问题影响不大,但对涉及底线的问题就不能接受。
  • 不透明:模型为什么选中或排除了某条记忆,往往难以给出稳定、可复核的理由。

根因同样只有一句话:模型的判断力很强,但它的行为既不稳定,也不受约束。

3.3 两类失效的比较

维度 纯规则方案 纯模型方案
核心优势 行为确定,可测试、可审计 理解语义,能覆盖长尾表达
典型失效 误召回(无关记忆被硬塞进来)、漏召回(换个说法就找不到) 偏好污染(不该存的内容被存下)、行为漂移(同一问题两次回答不一致)
判断依据 是否命中关键词或标签 与当前意图是否相关
根本缺陷 只看符号,不看语义 判断能力强,却缺少刚性约束
可解释性 高,可按规则逐条追溯 低,原因难以稳定复现
失败模式 错得“稳定” 错得“随机”
纯规则 纯模型
优点 可控、可测、可审计 懂语义,能处理长尾
典型翻车 误召回:无关记忆硬塞进来 偏好污染:不该存的指令被存了
根本问题 不懂语义 不守底线

两类缺陷恰好互补:规则的问题是“看不懂”,模型的问题是“管不住”。正因为一个懂语义但不受约束,一个守得住约束却不懂语义,正确的做法不是在两者之间二选一,而是让它们各司其职。

四、核心观点:规则管“能不能”,模型管“该不该”

可以用一句话概括这套分工:

规则管“能不能”,模型管“该不该”。规则保证不出事,模型保证好用。

  • “能不能”是合规与安全层面的准入判断,与当前问的是什么无关。一条记忆如果被禁止使用,无论用户问什么都不能被注入,这类判断必须确定、可复现、可审计。
  • “该不该”是语义与体验层面的相关性判断,高度依赖上下文,例如用户此刻意图、问题的具体内容、记忆与任务之间的因果关系。这类判断只有理解语义的模型才能做好。

两者之间是串行关系,而不是并列投票:规则先做“准入”,模型再做“择优”。任何一条记忆想进入上下文,都必须先通过规则,再接受模型排序。逻辑上可以写成:

  1. 允许调用 = 规则准入(能不能) AND 模型判定(该不该)

这条公式的写法本身就有讲究:两者是“与”的关系,不是“或”,规则是否决权而不是加分项。另一种常见的错误做法是把模型也当成一个“审批者”,让它判断某条敏感信息能不能用。模型的判断是概率性的,今天能拦住,换个问法明天就可能拦不住;安全边界必须建立在确定性规则之上,不能建立在概率之上。

4.1 规则层承担的四类底线

类别 要回答的问题 典型规则举例
敏感信息 内容本身是否允许长期保存和使用 身份证号、银行卡号、账户凭证、未成年人身份信息等一律不入库;密码、密钥等凭据不入记忆
权限边界 使用者和数据主体是否匹配 会话用户与记忆所属用户一致;跨租户记忆严格隔离;脱敏后的记忆仍按原敏感级别管控
时效状态 记忆当前是否仍然有效 设置有效期与衰减策略;用户更新或撤回后旧版本失效;已过期的临时信息(如“下周出差”)不再注入
内容形态 是否属于会影响行为边界的指令 要求智能体放弃提醒、不做风险提示、始终顺从的请求不写入长期偏好

其中第四类最容易被忽视。这类规则不应只靠模型“自觉”识别,而是要把“识别指令型操纵”本身也做成一条规则,或在模型判定之后再用规则做二次校验。两者结合,远比单独依赖任何一边可靠。

4.2 模型层承担的体验判断

模型层关注的不是“能不能”,而是“值不值得”。它需要回答三个问题:

  1. 相关性:这条记忆与用户当前意图是否存在真实的、可被用户理解的关联?
  2. 时机:这条记忆适合现在用、稍后追问时再用,还是根本不该主动提及?
  3. 冲突消解:多条记忆互相矛盾时,哪一条更能代表用户当前的真实想法?

以出差那条记忆为例:当用户问“出差要带什么转换插头”时,它高度相关;当用户问“推荐百元内的搅拌机”时,它与当前任务无关,应当保持沉默。同一个片段,在一种场景下必须调用,在另一种场景下必须沉默,这正是规则无法覆盖、必须由语义判断来完成的部分。

4.3 为什么不是简单的“二选一”

面试里常见的提问方式是“二选一”,它考察的其实是候选人有没有建立起分层思维。只回答“用规则”,说明只看到了确定性的价值,低估了语义的复杂性;只回答“用模型”,说明只看到了灵活性,低估了安全与一致性的成本。而能把问题拆成“准入”与“择优”两个层次,分别给出各自的判定标准与失效边界,才说明真正理解了这个问题的结构。

更进一步说,这种分工不是静态的。规则决定记忆的下限,模型决定记忆的上限。 规则的完备程度决定系统最坏情况下的表现,模型判断的质量决定系统在正常情况下能有多好用。

五、核心组成:一条完整的记忆链路

从工程落地角度看,记忆的筛选与调用不是单点功能,而是一条贯穿记忆生命周期的链路,至少包含五个模块。

模块 主要职责 判定方式 失败后果
写入准入 决定一条信息是否进入长期记忆 规则为主 不该存的内容被持久保存
存储与索引 组织、压缩并索引长期记忆,附加来源、时间、可见范围等元信息 工程实现 检索不到,或检索结果缺乏上下文
筛选与调用 召回候选记忆,做准入过滤、相关性排序与上下文装配 规则 + 模型 误召回、漏召回、注入越界内容
反馈与遗忘 根据调用效果与用户反馈修正记忆,更新或删除过期内容 规则 + 模型 错误记忆长期留存,越用越偏
观测与审计 记录写入、召回、过滤、注入的全链路日志 工程实现 出现问题无法定位、无法回溯

其中,筛选与调用模块位于链路核心。下游的“反馈与遗忘”决定记忆能否随用户变化持续更新,上游的“写入准入”决定记忆池是否干净,它们都直接影响筛选与调用的效果。

5.1 写入:筛选的第一道关卡

不少团队只关注“检索时怎么筛”,却忽略了“写入时就要筛”。如果敏感或无效内容一开始就进入了记忆库,后面每一层都要为它付出过滤成本,而且始终存在漏网的风险。写入阶段至少要做到三点:

  • 区分事实陈述与指令要求:用户陈述的事实(如“公司在杭州”)可以沉淀为用户画像;要求智能体改变行为方式的指令,不应作为长期偏好生效。
  • 标注来源与时效:每条记忆记录产生时间、最后确认时间与预期有效期,为后续调用提供依据。
  • 支持用户可见与可删:用户可以查看、修改或删除与自身相关的记忆,从源头降低误用的影响。

5.2 存储与索引:决定“能不能找得到”

长期记忆通常同时包含两类信息:一类是结构化的画像字段,如常用语言、所在城市、职业角色;另一类是非结构化的叙述片段,如用户描述过的问题背景。前者适合用关系型数据库或键值存储按字段精确查询,后者通常借助向量检索按语义相似度召回。

实际系统中常把两者结合:

  • 混合检索:关键词检索负责精确匹配,向量检索负责语义召回,再用排序模型融合;
  • 元数据过滤:把用户、时间、敏感级别、可见范围等作为检索前置条件;
  • 分层存储:高频使用的记忆与低频归档的记忆分别存放,兼顾访问速度与成本。

需要提醒的是,向量相似度衡量的是“像不像”,而不是“该不该用”。它只能作为候选来源,不能替代准入判断。

5.3 调用决策:三种输出而非两种

筛选与调用的输出不只是“用”或“不用”,而至少包括三种结果:

  • 调用:选中记忆并注入上下文,同时保留来源与时间标注;
  • 沉默:当前请求不需要长期记忆,直接基于对话上下文回答;
  • 部分调用:只用记忆中与当前任务直接相关的字段,其余内容留在存储中,等用户追问时再取。

“部分调用”经常被忽略,却往往是分寸感的关键。与其把用户画像整段塞进去,不如只调用“当前正在处理的问题背景”。

六、工作原理:四道关卡与一次完整调用

一次记忆调用通常会依次经过四道关卡,逐层收窄候选范围。

  1. 候选召回(找得到):基于当前问题,从长期记忆中召回一批相关度较高的候选片段,数量可以相对宽松。
  2. 规则准入(能不能):对候选逐条执行硬性规则校验,任一条件不满足即剔除,并记录被拒原因。
  3. 模型判定(该不该):对通过准入的候选进行相关性排序与阈值过滤,确定最终注入内容与顺序。
  4. 预算装配(放得下):在上下文预算内完成注入,同时保留来源与时间信息,并记录本次调用链路。

下面是一段示意性伪代码,用来说明三层的执行顺序:

  1. def build_memory_context(query, session, mem_store, rules, ranker, budget):
  2. # 第一层:候选召回——目标是“找得到”,允许一定的噪声
  3. candidates = mem_store.search(query, user_id=session.user_id, top_k=50)
  4. # 第二层:规则准入——管“能不能”,任一不满足即拒绝,并记录原因
  5. admitted, rejected = [], []
  6. for m in candidates:
  7. reason = rules.check(m, session) # 敏感信息、权限边界、时效状态、内容形态
  8. if reason is None:
  9. admitted.append(m)
  10. else:
  11. rejected.append((m.id, reason)) # 写入审计日志,便于追溯
  12. # 第三层:模型判定——管“该不该”,评估相关性、时机与冲突
  13. scored = ranker.score(query, admitted, context=session.recent_dialog)
  14. selected = [
  15. m for m in scored
  16. if m.relevance >= THRESHOLD and m.source != session.user_id # 兜底:不接受他人记忆
  17. ]
  18. selected = ranker.deduplicate(selected) # 去重
  19. selected = ranker.resolve_conflicts(selected) # 冲突消解,新者优先
  20. # 第四层:预算装配——注入时保留来源与时间
  21. return budget.pack(selected)

这段伪代码中有三个细节值得注意:

  • 规则检查位于模型评分之前,且返回的是“拒绝原因”而不只是布尔值。这样每一次拒绝都可被记录、复核和回归测试。
  • m.source != session.user_id 是一个兜底的权限校验。即便上游召回环节出现越权错误,这里也能再次拦截。
  • 模型只负责在已准入的候选中排序和挑选,无权把未通过规则的内容重新放回候选集。

6.1 规则层的组织方式

随着规则数量增加,把所有条件堆进一个函数会迅速变得难以维护。常见的做法是把规则组织成一条可配置、可观测的责任链,每条规则只做一件事:

  1. SensitiveDataRule -> 拦截证件号、银行账号等敏感内容
  2. SameUserRule -> 只允许调用属于当前会话用户的记忆
  3. TimeValidityRule -> 丢弃已过期或已被更新覆盖的记忆
  4. ManipulationRule -> 拦截要求放弃风险提示、始终顺从等指令型记忆

每条规则都有独立的标识与拒绝原因,便于:

  • 统计各类拦截的触发频率;
  • 发现哪些规则形同虚设、哪些规则误伤过多;
  • 在出现问题时精确定位是哪一条规则导致了错误行为。

6.2 模型层的判断方式

模型层一般不负责“从零生成答案”,而是承担判别与排序工作。实现方式大致有三类:

  1. 调用打分或重排模型:对“当前问题—候选记忆”逐对评估相关性,输出分数;
  2. 让生成模型做轻量判别:要求模型只输出“需要/不需要”及简短理由,适合对可解释性要求较高的场景;
  3. 在生成阶段融合:把候选记忆随问题一起交给模型,由模型自行取舍。

无论哪种方式,都要明确两点:模型判断是概率性的,需要阈值控制与评测集验证;模型的输出不能直接决定敏感内容的存废,它只在规则准入之后发挥作用。

6.3 规则与模型的衔接:判定标准与反馈闭环

两层之间还需要一份共同的“判定标准”,否则规则放行、模型收紧,或规则拦截、模型“想方设法”绕开的情况都会频繁出现。可行做法是为记忆打上结构化标签,例如:

  • personal_fact:个人事实,如所在城市、职业;
  • task_context:任务背景,如正在处理的问题;
  • behavior_directive:行为指令,如要求改变回复方式。

规则层按标签实施差异化管控:personal_fact 受敏感级别约束,task_context 受有效期约束,behavior_directive 需要更严格的写入审核。模型层则依据标签调整相关性评估的尺度:对 personal_fact,重点判断与当前任务是否存在真实关联;对 task_context,重点判断当前是否仍处在同一任务链路上。

此外,模型层的结果应回流到规则与记忆本身:

  • 若某类记忆被模型判定为不相关,却被用户明确确认“这正是我想要的”,说明阈值或标签需要调整;
  • 若某类指令型内容反复出现并触发拦截,说明需要扩充操纵话术的识别规则;
  • 若某条记忆频繁通过模型筛选却从未真正影响输出,说明它是“无效记忆”,可以降权或归档。

七、典型应用场景

场景 规则层主要守住什么 模型层主要判断什么 调用效果
智能客服 不同用户的会话隔离;证件、账户信息不进入上下文 历史工单与当前问题是否属于同一类故障 无需重复描述问题,又不暴露无关订单信息
个人助理 健康、位置等敏感信息的调用边界 用户当前提到的事项与过往安排之间的关系 主动提醒相关日程,不主动翻出无关旧事
研发与运维助手 不把密码、密钥写入长期记忆;生产操作前仍需确认 当前任务与历史故障、技术方案之间的关联 复用过去排查经验,同时保留必要的安全确认
数据分析助手 按角色控制可访问的数据范围 当前分析问题与历史口径、指标定义的关系 口径一致,又不越权取数
教育与咨询类助手 未成年人相关身份信息不存储;咨询内容限定在既定范围 当前问题与用户过往学习或咨询背景的联系 回答连贯,但不触碰隐私与专业边界

以智能客服为例,如果一条长期记忆记录了用户的某次退款投诉,当用户咨询“如何修改收货地址”时,正确的做法是只调用收货地址相关的信息,而不是在回复开头提一句“上次退款还顺利吗”。后者看起来是关怀,实际上是把无关记忆强加给了用户。

八、与相关概念的区别

rag-">8.1 与检索增强生成(RAG)

RAG 面向的主要是相对稳定、可共享的知识,如产品文档、制度规范、知识库文章;记忆面向的是持续演化、与具体用户绑定的私有信息。二者最本质的区别在于生命周期:

维度 RAG 记忆筛选与调用
知识来源 外部文档与知识库,面向所有使用者 用户在交互中产生的私有信息
更新方式 文档更新后重建索引,相对稳定 随对话持续写入、更新、失效
核心矛盾 召回是否充分、答案是否有依据 隐私边界、相关性与时机
筛选重点 与问题相关的知识片段 允许使用的个性化信息
失败代价 答案缺少依据或不够全面 侵犯隐私或让用户感到被冒犯

实际系统中两者经常共用检索与排序的基础设施,但治理目标不同:RAG 的核心指标是覆盖率与答案忠实度,记忆的核心指标是精准度与边界安全。

8.2 与长上下文

长上下文解决的是“装得下”的问题,记忆筛选解决的是“该不该装”的问题。上下文窗口再长,也不能成为全量注入的理由。原因有三点:成本与延迟随长度增长,无关内容会干扰生成,敏感信息的暴露面随内容增多而扩大。长上下文是容量条件,筛选与调用是治理条件,二者并不互相替代。

8.3 与用户画像/标签体系

用户画像是记忆筛选与调用的产物之一,但不等同于它。画像是“关于用户的事实集合”,回答的是“用户是谁”;筛选与调用是“使用这些事实的规则与流程”,回答的是“此刻能不能用、该不该用”。一套画像系统如果缺少筛选与调用层,就会退化为一张随时可能被原样塞进提示词的标签表。

8.4 与提示词工程

提示词工程关注如何组织指令、示例与输出格式,属于“怎么问”。记忆筛选与调用关注上下文中应该出现哪些用户相关的信息,属于“给模型看什么”。二者在上下文装配环节交汇,但关注点不同:前者追求指令清晰,后者追求信息恰当。

8.5 与遗忘机制

遗忘解决的是“不再保留什么”,筛选与调用解决的是“这一刻使用什么”。一条记忆即使永远不会被彻底删除,也应该在多数时刻保持沉默。有效的记忆系统同时需要“主动遗忘”与“被动沉默”:前者从源头减少无效记忆,后者在运行时控制使用边界。

九、落地时的注意事项

9.1 安全边界不能交给概率

凡是涉及“泄露后会造成实际损害”的信息,如证件号、银行账号、密码密钥、未成年人身份等,应由写入规则直接拦截,而不是依赖模型在调用时“自行判断”。模型可以被用来识别更多形态的敏感内容,但最终拦截必须由确定的规则完成。

9.2 规则要可测试、可回归

每条规则都应配有明确的测试用例,覆盖典型场景和已知的历史故障。规则变更后,在影子环境中先用历史流量回放验证,再逐步放量,避免一条看似无害的调整引发大面积误拦截或漏拦截。

9.3 阈值要分场景设定

相关性阈值并非越高越好。阈值过高会退化为漏召回,让 Agent 显得“什么都不记得”;阈值过低又会把噪声记忆带进上下文。更合理的做法是按场景分级:涉及安全、支付、不可逆操作的任务从严,普通咨询类任务适当放宽。

9.4 记忆要可见、可改、可删

用户应当能够查看智能体检 containing 了哪些关于自己的长期记忆,并能修改或删除。这不仅符合个人信息保护的一般要求,也是最有效的纠错手段:用户发现一条错误记忆后,可以从源头消除它长期带来的负面影响。

9.5 记忆要有“有效期”概念

“下周搬家”“正在找工作”这类信息都有明确的时效性,应随任务结束逐步降权或归档。对长期有效的偏好,也要定期与用户确认是否仍然成立,避免用户早已改变的想法一直沿用。

9.6 冲突的优先级要明确

当新旧记忆矛盾时,默认策略通常是“新者优先”,但也要区分场景:

  • 偏好类记忆:用户最新表达优先;
  • 事实类记忆:有客观依据者优先;
  • 指令型记忆:始终不直接生效。

冲突无法自动消解时,应主动询问用户,而不是自行猜测。

9.7 成本、延迟与可观测性

筛选链路每增加一层都会带来额外开销。实际落地中需要:

  • 控制进入模型判定的候选数量,避免逐条调用大模型;
  • 对高频查询的结果做缓存;
  • 为筛选与调用设置超时与降级策略,例如排序服务不可用时退回关键词检索加规则过滤;
  • 记录每次调用的召回数量、拦截原因、注入内容与最终是否影响输出,便于持续优化。

十、云上落地:通用架构与通用能力

从架构上看,记忆的筛选与调用通常包含一条异步写入链路和一条同步调用链路。

写入链路:会话结束后提取候选记忆,依次经过敏感信息检测与规则校验,通过的内容连同来源、时间、可见范围等元数据,写入长期记忆存储并建立索引。写入量较大时,可借助消息队列做异步解耦与削峰。

调用链路:每轮请求到来时,依次执行候选召回、规则准入、模型判定与上下文装配,并将结果注入模型。链路较短、要求低延迟,通常部署在容器平台上,配合负载均衡实现多实例与弹性伸缩。

在云上实现这套架构时,可以按需选用几类通用能力(以百度智能云为例,这类能力通常以通用云服务的形式提供):

  • 身份认证与访问管理:为不同用户、租户划分记忆访问权限,落实 SameUserRule 等权限类规则;
  • 对象存储:保存体量较大、访问频率较低的长期记忆归档数据;
  • 关系型数据库与键值存储:保存结构化的用户画像字段与记忆元数据;
  • 向量检索能力:为叙述型记忆提供语义召回;
  • 消息队列:承接记忆的异步写入与索引更新;
  • 容器平台与负载均衡:承载筛选与调用服务,支持弹性伸缩;
  • 日志服务与监控告警:记录每次筛选与调用的判定过程,对拦截率突变、调用延迟升高等异常及时告警。

具体选型应结合数据规模、调用频次、延迟要求与合规要求综合判断,不必追求组件越多越好。对于中小规模应用,先用“结构化存储 + 关键词检索 + 规则过滤”跑通闭环,再逐步引入语义检索与模型排序,往往是更稳妥的路径。

十一、总结

回到最初的问题:Agent 记忆的筛选和调用,到底该交给固定规则还是大模型?

答案不是二选一,而是分工:

  • 规则管“能不能”:敏感信息、权限边界、时效状态、指令型内容,由确定的规则守住底线,让系统在最坏情况下也不会出错;
  • 模型管“该不该”:与当前意图是否相关、此刻是否适合使用、多条记忆如何取舍,由模型完成语义判断,让系统在正常情况下足够好用;
  • 规则是准入,模型是排序:两者串行协作,规则拥有否决权,模型只在合规候选集中择优。

理解了这层分工,也就理解了记忆系统的设计目标:它不是在比谁记得多,而是在比谁用得准。规则保证不出事,模型保证好用;缺了前者,AI 会让人不安全;缺了后者,AI 会让人觉得笨。 在真实的 Agent 系统中,这两者从来不是相互替代的选择题,而是同一条链路上的前后两道工序。