简介:当编程Agent修复了一次接口报错,如何让它在下一个任务里不再犯同样的错?本文围绕Agent递归自我改进(Recursive Self-Improvement, RSI)展开,系统对比"不改模型权重的外部组件进化"(提示词、记忆、技能、框架)与"结合模型训练的改进"两条路线,从架构、成本、验证难度、适用场景等维度剖析差异,帮助读者回答"该改哪里、何时改、如何验证",形成清晰的选型判断。
在Agent实际落地过程中,一个常见现象是:同一个Agent运行一段时间后,行为可能变好,也可能变差。设想一个编程Agent调用某个接口时遇到报错,发现参数已经更新,经过几轮试错终于修复;但换到下一个任务,它是否还会犯同样的错?这次修复能否沉淀为一条规则、一段记忆或一项技能?再遇到新问题时,过去的经验能否帮助它更快定位原因、提出更有效的修改?
这些问题正是Agent递归自我改进(RSI)研究关注的核心。近期,某研究机构联合多家高校与科技企业,围绕这一主题推出了LLM Agent递归自我改进综述,从提示词优化、记忆进化、技能进化、框架(Harness)进化四条主线出发,选取大量代表性研究构建统一框架,并回答了三个关键问题:什么时候应该改?应该改哪里?怎样把经验变成经过验证、能长期使用的改进?
对开发者而言,真正需要决策的不是”要不要做自我改进”,而是”用哪条路径做、代价多大、风险在哪”。因此,本文将这几类改进路线放在同一坐标系里对比,帮助技术选型。
Agent在完成任务时,会留下工具调用记录、执行结果、用户纠正和失败后的修复过程。这些信息既可以成为下一次行动的依据,也可以用来修改Agent自身的组成部分。据此,RSI可分成两大路线:
路线A:不改模型权重的外部组件进化。 即使底层大模型权重保持不变,Agent行为也能随外部组件的更新而改善。其内部又细分为四个由轻到重的层次:
路线B:结合模型训练的改进。 通过微调等方式直接更新模型权重,把经验内化进参数,而不仅依赖外部组件。
尽管路径不同,它们在几个层面高度一致:
架构与改动范围。 路线A是”外挂式”改进,Agent与大模型解耦,改的是外层组件;路线B是”内嵌式”改进,直接改动权重。这决定了路线A天然更易回滚(删掉一条记忆或技能即可),路线B回滚成本高(通常需要重新加载旧版本权重)。
见效速度与验证难度。 提示词优化几乎即时生效,但缺乏系统性验证,可能”按下葫芦浮起瓢”;记忆与技能进化居中;框架进化改动大、验证维度多;模型训练周期最长,需要评测集和回归测试来防止能力退化。
计算与人力成本。 路线A大多只涉及存储、检索和逻辑推理,计算成本低,主要成本在”如何设计好改进的生成与筛选逻辑”;路线B需要训练资源、数据准备和评估流水线,成本显著更高。
递归能力(越用越强的方式)。 路线A通过积累结构化的经验与组件实现递归——已有记忆、技能成为下一次改进的输入;路线B的递归体现在数据飞轮——用模型自身产出反哺训练。两者可组合使用。
风险与边界。 路线A的风险在于”经验污染”:错误经验一旦写入记忆或技能,会被反复调用,需要严格验证与版本管理;框架进化不当可能破坏已有功能。路线B的风险在于训练数据分布偏差导致能力漂移,且难以对单条经验做精细归因。
一个通用的闭环伪代码如下:
def rsi_task_loop(agent, task):result = agent.execute(task)if result.failed:exp = diagnose(result.failure) # 诊断失败target = decide_target(exp) # 决定改哪里:prompt/memory/skill/harnessupdate = generate_update(target, exp) # 生成改进if validate(update).passed: # 验证改进agent.apply(update) # 生效agent.memory.record(update) # 沉淀,供后续递归使用else:rollback(update) # 回滚,避免污染return result
| 维度 | 提示词优化 | 记忆进化 | 技能进化 | 框架(Harness)进化 | 模型训练 |
|---|---|---|---|---|---|
| 改进对象 | 提示词约束 | 经验库 | 可复用流程 | 工具/编排/检查 | 模型权重 |
| 改动范围 | 极小 | 小 | 中 | 大 | 最大 |
| 见效速度 | 即时 | 快 | 中 | 中 | 慢 |
| 回滚成本 | 极低 | 低 | 中 | 较高 | 高 |
| 验证难度 | 中 | 中 | 较高 | 高 | 高(需评测集) |
| 计算成本 | 低 | 低 | 低 | 中 | 高 |
| 递归能力来源 | 规则沉淀 | 经验检索 | 技能复用 | 结构优化 | 数据飞轮 |
| 主要风险 | 规则冲突 | 经验污染 | 技能过时 | 破坏既有功能 | 能力漂移 |
需要强调的是,这些路径并非互斥,实践中往往组合使用:先用轻量手段(提示词、记忆)快速止血,再逐步引入技能与框架优化,成熟后视需要叠加训练。在团队运维能力有限时,可优先选择外部组件进化中改动更轻、回滚更容易的方案;在追求能力上限且有完善评估能力时,再考虑模型训练。
当在改进路径之间切换或叠加时,需要提前评估:一是数据与状态迁移,记忆库、技能库的结构变更要考虑向后兼容;二是验证机制,任何写入记忆或技能的”经验”都应经过验证与版本化,避免错误经验被递归放大;三是可回滚性,尤其是框架进化与模型训练,必须保留回退路径;四是监控与审计,记录每次改进的来源、触发条件和效果,便于归因;五是稳定性与灰度,结构性改动建议先小范围灰度,观察回归后再全量。
Agent递归自我改进的关键,不是笼统地”让Agent变强”,而是围绕三个问题做精确决策:何时改、改哪里、如何验证。外部组件进化(提示词、记忆、技能、框架)以便捷、低成本、易回滚见长,代价是依赖严谨的验证与污染防护;模型训练路线能把经验内化,但成本高、回滚难、归因复杂。二者可组合、可分层推进。选型时,应先判断改进的”层次”——能在外层解决的就不必动权重,需要提升能力上限且具备评估能力时再考虑训练,从而让Agent真正实现”越用越强”。