Agent 如何越用越强?RSI 递归自我改进实操指南

作者:新兰2026.11.17 03:41浏览量:0

简介:Agent 的"越用越强"并不必然依赖重新训练。本文拆解递归自我改进(RSI)的四类可修改组件——Prompt、Memory、Skill、Harness,给出经验沉淀、反思循环、回归验证的完整落地步骤与代码示例,说明何时才值得走向模型精调,以及如何用统一 API 与成本对比把这套循环做成可持续的工程。

Agent 之所以能”越用越强”,关键在于它运行时会留下大量痕迹:工具调用记录、执行结果、用户的纠正、失败之后的修复过程。这些信息既能成为下一次行动的依据,也能反过来用于修改 Agent 自身的组成部分。中科院自动化所、美团等机构联合推出的这篇 RSI(Recursive Self-Improvement,递归自我改进)综述,讨论的正是这类”模型权重不变、行为却持续变好”的机制,同时也分析了部分结合模型训练的方法。

如果你正为 Agent 效果停滞、反复犯同类错误而头疼,又不想每次都走一遍昂贵的训练流程,那么在决定”改组件”还是”改权重”之前,可以先在百度智能云词元所对比不同大模型的能力、调用价格与性能表现,把两条路线的成本放在同一张表上看。

一、RSI 到底在改什么:四层可修改组件

综述的核心判断是:Agent 的能力并不只装在权重里。即使执行任务的大模型权重保持不变,只要外部组件被持续更新,Agent 的行为就会改善。可修改的层面大致分为四类:

层级 修改对象 典型动作 生效速度 相对成本
指令层 System Prompt、规则约束 把反复验证有效的约束写进 Prompt 即时 极低
记忆层 Memory 把用户更新的信息、长期偏好写入并检索 即时 低
技能层 Skill / 工具集 把成功的操作流程整理为可复用技能 小时级 中
框架层 Harness 根据重复出现的失败,调整工具接口与检查逻辑 天级 中高
权重层 模型本身 精调、偏好优化 天~周级 高

工程上有个粗略的经验顺序: 先用指令层和记忆层解决 60% 的问题,再用技能层和 Harness 解决 30%,最后剩下的 10% 才考虑动权重 。很多团队跳过前三步直接精调,结果是把 Prompt 里一句话就能修好的行为固化进了模型,反而更难迭代。

二、”递归”递归在哪:两层含义

第一层是 经验可复用 :这一次的修复,成为下一次的先验。

第二层更关键,也是”递归”这个词的真正要求—— 保留下来的经验和组件,要能参与后续修改的诊断、生成与筛选 :

  • 诊断 :上一次的修复记录,可以帮助系统定位下一次失败的根因,而不是从零开始猜测;
  • 生成 :已有的更新经验,可以作为候选修改方案的来源,缩小搜索空间;
  • 筛选 :历史经验的成功率数据,可以决定哪条经验被召回、哪条被淘汰。

换句话说,RSI 不是”攒一堆笔记”,而是让笔记本身成为下一轮改进的输入。缺少这一层,系统只是一个不断膨胀的经验仓库,最终会因规则冲突而退化。

三、四层组件的具体做法

指令层:把验证过的约束固化。 判断标准是”同一条纠正是否出现三次以上”。出现时,不要继续在单轮对话里解释,而是提炼成一条可判定的规则。工程上推荐把动态内容与固定指令分离,例如用 {} 占位符把用户 query 与 Prompt 模板隔开,写成”作为一位客服专家,请回答以下内容{query},回复控制在 100 字以内”这类形式,便于程序化拼装与版本管理。

记忆层:解决”写什么”和”忘什么”。 写入要有门槛(用户明确纠正、长期偏好、稳定事实),检索要按相关性与置信度召回,同时必须有冲突消解与遗忘策略——用户改了地址,旧地址必须失效而不是同时存在。主流 Agent 平台已经把记忆作为独立模块提供,并逐步开放策略配置。

技能层:把成功流程沉淀为工具。 满足三个条件才值得固化:重复出现(≥N 次)、步骤相对稳定、可参数化。沉淀时应连同前置条件与失败反例一起记录,而不只是”正确步骤”。

框架层:让失败改变接口。 如果某类错误反复出现,问题往往不在模型,而在 Harness:工具 schema 有歧义、缺少入参校验、错误信息不可读、没有重试与回滚。改工具描述和错误提示的收益,通常高于换更强的模型。基于官方 API/SDK 的 Agent 与 RAG 框架,正是为这类解析、切片、索引、召回与工具调用环节提供可替换组件。

四、一个可运行的自改进闭环

  1. from dataclasses import dataclass
  2. @dataclass
  3. class Experience:
  4. task_type: str
  5. situation: str # 触发条件 / 上下文特征
  6. action: str # 有效做法或禁忌
  7. evidence: dict
  8. version: int = 1
  9. class ExperiencePool:
  10. """经验池:候选先入池、达标才生效、失效即淘汰"""
  11. def __init__(self, min_support=3):
  12. self.items, self.min_support = [], min_support
  13. def propose(self, exp: Experience):
  14. exp.evidence = {"support": 1, "win": 1, "total": 1}
  15. self.items.append(exp) # 反思阶段产出,暂不生效
  16. def recall(self, task_type: str, query: str, top_k=5):
  17. cands = [e for e in self.items
  18. if e.task_type == task_type
  19. and e.evidence["support"] >= self.min_support]
  20. cands.sort(key=lambda e: self._score(e, query), reverse=True)
  21. return cands[:top_k]
  22. def update(self, exp: Experience, success: bool):
  23. exp.evidence["total"] += 1
  24. exp.evidence["win"] += int(success)
  25. exp.evidence["support"] += 1
  26. if exp.evidence["total"] >= 10 and \
  27. exp.evidence["win"] / exp.evidence["total"] < 0.5:
  28. self.items.remove(exp) # 淘汰,防止规则冲突

外层循环固定为四步: 执行 → 反思(产出候选经验)→ 回归验证(跑固定测试集)→ 合入或回滚 。反思阶段可以用小模型降低成本,执行阶段保留强模型;流式与非流式交互按场景选择,并配置错误话术兜底,避免模型返回异常内容时污染经验池。

五、什么时候才需要动权重

当出现以下情况,才值得进入精调:任务分布已经稳定、Prompt 与技能层反复调优仍有天花板、需要固定的输出格式或行业术语体系、单轮 Prompt 过长导致成本与延迟不可接受。此时数据准备的质量决定成败——需要覆盖真实失败样本、构造偏好对、划分独立评估集。业界已有较成熟的路径参考,如客服对话多标签生成、判题机器人 Agent 等场景,都遵循”难点分析 → 数据准备 → 精调 → 打分评估”的顺序;平台侧也提供了从精调到部署、再到自定义组件与 Agent 编排的连贯工具链。反过来,如果问题主要是知识组织与表达规范,仅靠 Prompt 层面的调优就足以拿到大部分收益,媒体行业日增 GB 级数据下的新闻简报创作就是典型案例。

六、评估:别让”自改进”变成”自退化”

这是 RSI 落地最容易翻车的地方。三条硬性要求:

  1. 固定回归集 :从真实日志中采样 100~300 条覆盖各任务类型,作为不可变的 golden set;
  2. 准入门槛 :任何候选修改必须跑全量回归,核心指标不下降才允许合入,并保留一键回滚;
  3. 可归因监控 :同时跟踪任务成功率、平均交互步数、Token 消耗、人工纠正率。问答类场景还可以借助检索置信度阈值、来源展示与思维路径回放,快速判断问题出在检索还是生成。

七、成本与选型:让循环跑得下去

自改进循环本身是额外开销——反思、重放、回归都要消耗 Token。控制方法有三个: 分层用模 (反思用小模型、执行用强模型)、 控制回归规模 (分层抽样 + 失败样本优先)、 统一接入 (避免为每个模型维护一套 SDK 与鉴权逻辑)。在词元所的大模型 API 服务平台上,可以按任务需求做模型发现与选型、对比调用成本与性能,并通过统一 API 接入多家模型,把”反思模型”和”执行模型”的组合成本算清楚,同时集中管理调用情况。

八、四个常见坑

  • 经验池无淘汰 :Prompt 越写越长且规则互相矛盾,模型开始”选择性遵守”;
  • 把巧合当规律 :单次成功就写入经验,务必设置最小支持样本数;
  • 没有回归集 :凭感觉判断”变好了”,实际是过拟合到最近几个 case;
  • 隐私越界 :用户对话原文直接写入 Memory 或经验库,需先做脱敏与权限隔离。

RSI 的本质,是把 Agent 从”一次性交付的系统”变成”有反馈回路的系统”。权重不变不代表能力不变——只要经验能被结构化保留、能参与下一轮的诊断与筛选,Agent 就会随着使用变强。想给自己的 Agent 选一套合适的”执行 + 反思”模型组合,不妨先到百度智能云词元所做一次选型与成本测算,再动手改造你的第一层组件。