让代码智能体在试错中进化：失败驱动的强化学习训练范式

在智能体应用日益复杂的今天，一个关键瓶颈逐渐显现：为什么许多在基准测试中表现优异的代码智能体，一旦部署到真实终端环境，面对接踵而至的运行时错误时，却常常表现得束手无策，甚至陷入“尝试—失败—再尝试—再失败”的无效循环？

这背后的原因在于，真实环境中的纠错远比修改一道算法题复杂。错误操作可能已经改动了文件系统、安装了不兼容的依赖、启动了残留进程，或者留下了脏数据。此时，智能体后续的每一次动作，都基于一个已被先前错误操作污染的环境状态。要走出困境，智能体必须具备“复盘”能力：理解当前环境与预期状态的偏差，定位错误的根本原因，并制定有效的恢复策略。

一、从失败中学习：为何传统训练范式力不从心

当前主流的智能体训练方法，通常依赖于“干净状态下的成功轨迹”。模型在大量“初始状态—正确操作—成功结果”的样本上进行监督学习或强化学习，从而掌握执行任务的标准流程。然而，这种训练范式存在一个结构性缺陷：它从未让模型见过“烂摊子”。

当智能体在实际运行中犯错后，它面临的环境状态是训练分布之外的。例如，某个包已经安装，但安装位置混乱；某个服务已启动，但端口被占用；某个配置文件被修改，但语法错误。面对这些“非标准”状态，模型无法泛化，只能凭借有限的模式匹配进行盲目尝试。更糟糕的是，如果训练数据中人为注入的错误与模型实际犯的错在类型、复杂度上存在偏差，模型学到的“纠错策略”也难以迁移。

论文中提到的某统计软件包安装案例极具代表性：标准强化学习训练的模型在导入失败后，反复执行卸载、重装、再导入的固定循环，始终未能跳出“认为包未安装”的错误假设。而经过专门恢复训练的模型，则能检查实际安装路径，发现模块被安装到了子目录，从而调整导入语句，成功恢复执行。这一差异揭示了一个核心结论：有效的恢复能力，必须基于对真实环境状态的细致观察与推理，而非预定义的错误处理模板。

二、构建恢复示范集：ReTerm-10K 的冷启动策略

为了让智能体学会“收拾残局”，一个直观的思路是：先让它观摩专家如何处理失败现场。但关键在于，失败现场从何而来？人工构造的错误场景，往往过于规整，无法覆盖真实世界中错误状态的多样性和耦合性。

为此，一种更有效的策略是“自我生成失败”：让基础模型去执行大量任务，收集其失败时的完整环境快照和执行日志。这些快照不是抽象的错误码，而是包含了文件系统变动、进程状态、环境变量等细节的真实“事故现场”。随后，引入能力更强的教师模型（如大规模预训练模型），从该失败现场出发，演示如何系统地诊断问题、制定修复计划、执行恢复操作，并最终完成任务。

这一过程的核心产出是一条条高质量的恢复轨迹。经过严格的质量筛选（仅保留最终成功完成任务的轨迹）和多样性去重，我们可以构建一个规模约万级的恢复示范数据集。该数据集的价值在于：它直接对应了当前智能体能力边界内的“真实失败”，而非理论上的失败假设。在此数据集上进行行为克隆，模型能够快速掌握恢复动作的基本范式，包括如何检查日志、如何验证依赖、如何回滚变更等，从而获得一个可靠的“冷启动”能力。

三、在线进化：ReTerm-GRPO 让错误反哺策略

冷启动只是第一步，其上限受限于教师模型的示范质量。要让智能体超越“模仿者”的角色，具备应对未曾见过的新问题的能力，必须引入在线强化学习机制。

ReTerm-GRPO 的核心思想是“从哪里跌倒，就从哪里爬起来，并记下教训”。具体流程如下：

1. 任务执行与失败捕获：智能体在标准任务集上自主执行，当任务失败时，系统自动保存当前的环境快照、操作历史以及失败信息。
2. 独立恢复探索：从保存的失败现场出发，重置智能体，由它独立探索多种可能的恢复路径。此时，环境是固定的“历史遗留状态”，智能体必须自行判断该做什么。
3. 奖励信号与策略更新：恢复探索结束后，根据最终是否成功完成任务给予奖励信号。强化学习算法（此处采用 GRPO——一种基于组相对策略优化的方法，通过比较同一状态下不同动作的组内相对优势来更新策略）利用这些奖励信号，对模型的策略网络进行更新。那些能够引导智能体跳出错误循环、找到正确恢复路径的动作序列，其生成概率将被提升；而无效的重复尝试则被抑制。

这种训练方式的精妙之处在于，它形成了“错误—探索—知识”的正向闭环。智能体在探索中遇到的新障碍，会通过奖励信号反馈为策略调整的依据，使其在处理后续相似但略有不同的错误时更具韧性。例如，在某个失败尝试中，模型可能误删了配置文件，这个负面结果会促使它学习“在删除前应备份或确认”这样的隐性规则。这种知识是任何人工标注或静态数据集中难以获得的。

四、数据质量与训练稳定性：实践中的关键考量

在上述训练范式的落地过程中，有几个关键问题需要特别关注：

• 失败现场的完整性：仅仅保存终端日志是不够的。必须完整捕获进程树的执行状态、文件系统的变更差分（即在失败前后到底哪些文件被新增、修改或删除）、以及环境变量的当前值。这些元数据是智能体进行推理的基础，缺失任何一个维度都可能误导恢复策略。
• 奖励塑形的粒度：在强化学习阶段，如果奖励只在最终成功时给予，训练信号会非常稀疏。实践中，可以通过过程奖励进行补充，例如，检测到“智能体正确识别了报错原因”或“成功执行了依赖修复动作”时给予中间奖励，以加速收敛。但需警惕奖励黑客行为，即智能体为了获得中间奖励而做出不真心恢复环境的表演性动作。
• 安全边界控制：让智能体在真实环境中自由试错存在操作风险。在训练阶段，应使用沙箱环境（如容器或虚拟机）进行，限制其文件系统写入范围、网络访问权限和进程资源占用。待模型策略稳定后，再逐步放开权限，迁移到更真实的模拟环境。

五、未来展望：从“会修复”到“懂得预防”

通过上述“失败驱动”的训练循环，代码智能体不再是一个只会背诵成功路径的机器人，而是一个能在动态环境中进行因果推理、具备反事实思考能力的“问题解决者”。它理解了“操作—后果”之间的关联，并能基于这种理解来规划下一步。

值得注意的是，这种训练范式的影响不仅局限于错误恢复。经过大量失败数据训练的模型，在初始任务执行阶段也会变得更加谨慎和稳健。因为它学会了预测哪些操作容易引发后续问题，从而在源头规避风险。例如，它会在安装依赖前主动检查版本兼容性，或在进行破坏性变更前主动查询当前状态。

从行业视角看，这代表了智能体训练从“任务导向”向“状态感知”的转变。未来的智能体开发，将更加重视构建高质量的执行环境模拟器、设计精密的失败注入与捕获机制，以及开发更强大的多步推理与自适应规划算法。那些能够在自身历史错误中汲取养分、不断迭代的智能体，才真正具备了在复杂多变的真实世界中独立生存的能力。