简介: 本文对比大模型Agent经验学习中两类主流范式:传统的“训练集学习+测试集评估”离线方案,以及面向真实部署环境的“部署时在线学习”方案。文章从时间维度、反馈机制、学习位置、评估目标等核心维度展开对比,并以基于案例的在线经验选择方法为例说明部署时学习的技术形态,帮助读者理解两种方案的适用边界与选型思路。
当大语言模型Agent走出实验室、进入真实业务系统后,一个日益突出的问题浮现出来:任务持续到来、反馈不断产生,而底座模型参数保持固定时,Agent能否在真实交互过程中持续变得更好?
目前Agent经验学习的相关工作大致分为两类范式:
这两种范式都有研究与应用价值,但它们对“时间”和“反馈”的处理方式存在本质差异,直接影响系统架构、评估方法和落地效果。本文将系统对比两类方案,并给出选型建议。
这是大家最熟悉的机器学习范式。其典型流程为:
学习阶段与使用阶段被明确切分:模型“学会”之后才开始“工作”。
该方案将部署阶段本身定义为在线学习问题。在第 t 步,Agent观察到一个查询,生成答案或行动轨迹,环境返回成功/失败的二值反馈。Agent不能提前看到未来任务,也不能回退重做历史请求——每一步既是一次服务,也是一次反馈收集。
其优化目标不再是单个任务的成功率,而是整个部署序列上的长期成功率,等价于降低在线学习中的遗憾值。这类方案的典型技术形态是:底座模型参数冻结,学习发生在外围组件(记忆、检索机制)中。例如CASCADE方法,其核心不是简单堆叠历史经验,而是让Agent学会选择经验——面对当前任务,判断应该参考过去哪一次交互才能做出更好的决策。
尽管范式差异明显,两类方案在底层逻辑上仍有共性:
这是最根本的差异。范式A将学习与使用在时间上严格切分,隐含“数据分布静态”的假设;范式B中任务是按顺序持续到来的,当前选择不仅影响本次结果,还可能影响后续策略。真实系统中任务分布往往会漂移,范式A对此缺乏内生应对机制,而范式B天然适配。
范式A依赖提前准备好的标注数据,收集成本高且可能与服务环境不一致;范式B的反馈来自真实交互——工具调用是否成功、任务是否完成——无需额外标注,且信号更贴近真实业务。
范式A中若采用微调,学习发生在模型参数内部,更新成本高、有灾难性遗忘风险;范式B明确保持底座参数固定,学习发生在记忆与检索机制中,更新轻量、可回滚、便于审计。
范式A以测试集上的静态指标为准;范式B以整个部署序列的累计成功率为目标,这一形式化更接近工业系统中的持续服务过程。
值得注意的是,部署时学习并不等于“把所有历史经验都塞给Agent”。简单积累会导致记忆膨胀、检索噪声和上下文过载。以CASCADE为代表的案例式方法强调经验选择的在线学习:判断哪条历史交互对当前任务真正有参考价值。这是“记忆型Agent”与“会学习的Agent”的关键分界。
| 对比维度 | 范式A:离线训练—测试 | 范式B:部署时在线学习 |
|---|---|---|
| 时间结构 | 学习与使用切分 | 边服务边学习,任务流连续 |
| 反馈来源 | 预先标注的训练数据 | 环境实时返回的成功/失败信号 |
| 模型参数 | 可微调更新 | 保持固定 |
| 学习位置 | 参数内或提示/记忆层 | 记忆与检索等外围组件 |
| 评估目标 | 测试集静态指标 | 长期成功率/遗憾值 |
| 分布漂移适应 | 需重新收集数据再训练 | 内生适应,持续更新 |
| 更新风险 | 灾难性遗忘、性能回退 | 可控,外围组件可回滚 |
| 工程复杂度 | 集中在训练管线 | 集中在反馈回路与记忆管理 |
选型时可按以下条件判断:
两类方案的本质区别在于对“时间”的处理:离线方案假设世界静止,学习一次、服务长期;部署时学习承认世界持续变化,把每一次服务都变成一次学习机会,并将优化目标形式化为长期遗憾最小化。当业务具备持续任务流和可自动获取的反馈时,部署时学习提供了更贴近真实系统的适应路径;而当任务稳定、可离线充分标注时,传统方案依然是更简单可靠的选择。理解这一分界,是Agent系统从“能跑通”走向“持续变好”的关键一步。