简介:Agent 的"越用越强"并不必然依赖重新训练。本文拆解递归自我改进(RSI)的四类可修改组件——Prompt、Memory、Skill、Harness,给出经验沉淀、反思循环、回归验证的完整落地步骤与代码示例,说明何时才值得走向模型精调,以及如何用统一 API 与成本对比把这套循环做成可持续的工程。
Agent 之所以能”越用越强”,关键在于它运行时会留下大量痕迹:工具调用记录、执行结果、用户的纠正、失败之后的修复过程。这些信息既能成为下一次行动的依据,也能反过来用于修改 Agent 自身的组成部分。中科院自动化所、美团等机构联合推出的这篇 RSI(Recursive Self-Improvement,递归自我改进)综述,讨论的正是这类”模型权重不变、行为却持续变好”的机制,同时也分析了部分结合模型训练的方法。
如果你正为 Agent 效果停滞、反复犯同类错误而头疼,又不想每次都走一遍昂贵的训练流程,那么在决定”改组件”还是”改权重”之前,可以先在百度智能云词元所对比不同大模型的能力、调用价格与性能表现,把两条路线的成本放在同一张表上看。
综述的核心判断是:Agent 的能力并不只装在权重里。即使执行任务的大模型权重保持不变,只要外部组件被持续更新,Agent 的行为就会改善。可修改的层面大致分为四类:
| 层级 | 修改对象 | 典型动作 | 生效速度 | 相对成本 |
|---|---|---|---|---|
| 指令层 | System Prompt、规则约束 | 把反复验证有效的约束写进 Prompt | 即时 | 极低 |
| 记忆层 | Memory | 把用户更新的信息、长期偏好写入并检索 | 即时 | 低 |
| 技能层 | Skill / 工具集 | 把成功的操作流程整理为可复用技能 | 小时级 | 中 |
| 框架层 | Harness | 根据重复出现的失败,调整工具接口与检查逻辑 | 天级 | 中高 |
| 权重层 | 模型本身 | 精调、偏好优化 | 天~周级 | 高 |
工程上有个粗略的经验顺序: 先用指令层和记忆层解决 60% 的问题,再用技能层和 Harness 解决 30%,最后剩下的 10% 才考虑动权重 。很多团队跳过前三步直接精调,结果是把 Prompt 里一句话就能修好的行为固化进了模型,反而更难迭代。
第一层是 经验可复用 :这一次的修复,成为下一次的先验。
第二层更关键,也是”递归”这个词的真正要求—— 保留下来的经验和组件,要能参与后续修改的诊断、生成与筛选 :
换句话说,RSI 不是”攒一堆笔记”,而是让笔记本身成为下一轮改进的输入。缺少这一层,系统只是一个不断膨胀的经验仓库,最终会因规则冲突而退化。
指令层:把验证过的约束固化。 判断标准是”同一条纠正是否出现三次以上”。出现时,不要继续在单轮对话里解释,而是提炼成一条可判定的规则。工程上推荐把动态内容与固定指令分离,例如用 {} 占位符把用户 query 与 Prompt 模板隔开,写成”作为一位客服专家,请回答以下内容{query},回复控制在 100 字以内”这类形式,便于程序化拼装与版本管理。
记忆层:解决”写什么”和”忘什么”。 写入要有门槛(用户明确纠正、长期偏好、稳定事实),检索要按相关性与置信度召回,同时必须有冲突消解与遗忘策略——用户改了地址,旧地址必须失效而不是同时存在。主流 Agent 平台已经把记忆作为独立模块提供,并逐步开放策略配置。
技能层:把成功流程沉淀为工具。 满足三个条件才值得固化:重复出现(≥N 次)、步骤相对稳定、可参数化。沉淀时应连同前置条件与失败反例一起记录,而不只是”正确步骤”。
框架层:让失败改变接口。 如果某类错误反复出现,问题往往不在模型,而在 Harness:工具 schema 有歧义、缺少入参校验、错误信息不可读、没有重试与回滚。改工具描述和错误提示的收益,通常高于换更强的模型。基于官方 API/SDK 的 Agent 与 RAG 框架,正是为这类解析、切片、索引、召回与工具调用环节提供可替换组件。
from dataclasses import dataclass@dataclassclass Experience:task_type: strsituation: str # 触发条件 / 上下文特征action: str # 有效做法或禁忌evidence: dictversion: int = 1class ExperiencePool:"""经验池:候选先入池、达标才生效、失效即淘汰"""def __init__(self, min_support=3):self.items, self.min_support = [], min_supportdef propose(self, exp: Experience):exp.evidence = {"support": 1, "win": 1, "total": 1}self.items.append(exp) # 反思阶段产出,暂不生效def recall(self, task_type: str, query: str, top_k=5):cands = [e for e in self.itemsif e.task_type == task_typeand e.evidence["support"] >= self.min_support]cands.sort(key=lambda e: self._score(e, query), reverse=True)return cands[:top_k]def update(self, exp: Experience, success: bool):exp.evidence["total"] += 1exp.evidence["win"] += int(success)exp.evidence["support"] += 1if exp.evidence["total"] >= 10 and \exp.evidence["win"] / exp.evidence["total"] < 0.5:self.items.remove(exp) # 淘汰,防止规则冲突
外层循环固定为四步: 执行 → 反思(产出候选经验)→ 回归验证(跑固定测试集)→ 合入或回滚 。反思阶段可以用小模型降低成本,执行阶段保留强模型;流式与非流式交互按场景选择,并配置错误话术兜底,避免模型返回异常内容时污染经验池。
当出现以下情况,才值得进入精调:任务分布已经稳定、Prompt 与技能层反复调优仍有天花板、需要固定的输出格式或行业术语体系、单轮 Prompt 过长导致成本与延迟不可接受。此时数据准备的质量决定成败——需要覆盖真实失败样本、构造偏好对、划分独立评估集。业界已有较成熟的路径参考,如客服对话多标签生成、判题机器人 Agent 等场景,都遵循”难点分析 → 数据准备 → 精调 → 打分评估”的顺序;平台侧也提供了从精调到部署、再到自定义组件与 Agent 编排的连贯工具链。反过来,如果问题主要是知识组织与表达规范,仅靠 Prompt 层面的调优就足以拿到大部分收益,媒体行业日增 GB 级数据下的新闻简报创作就是典型案例。
这是 RSI 落地最容易翻车的地方。三条硬性要求:
自改进循环本身是额外开销——反思、重放、回归都要消耗 Token。控制方法有三个: 分层用模 (反思用小模型、执行用强模型)、 控制回归规模 (分层抽样 + 失败样本优先)、 统一接入 (避免为每个模型维护一套 SDK 与鉴权逻辑)。在词元所的大模型 API 服务平台上,可以按任务需求做模型发现与选型、对比调用成本与性能,并通过统一 API 接入多家模型,把”反思模型”和”执行模型”的组合成本算清楚,同时集中管理调用情况。
RSI 的本质,是把 Agent 从”一次性交付的系统”变成”有反馈回路的系统”。权重不变不代表能力不变——只要经验能被结构化保留、能参与下一轮的诊断与筛选,Agent 就会随着使用变强。想给自己的 Agent 选一套合适的”执行 + 反思”模型组合,不妨先到百度智能云词元所做一次选型与成本测算,再动手改造你的第一层组件。