简介:本文围绕传统手工调优Harness与自进化Harness展开对比,拆解二者在架构解耦、归因方式、性能增益、安全边界、运维成本与迁移风险上的差异,并结合“白板启动”与“经验预置启动”的取舍,给出条件化选型建议,帮助技术团队判断何时该手工调优、何时适合引入自进化循环。
在复杂终端任务、代码任务和长链路自动化场景中,Agent的表现往往由两部分共同决定:一部分是底层大模型本身的能力,另一部分是模型外部的运行框架与工程化封装,也就是常说的Harness。Harness通常包括系统提示、工具描述、工具实现、中间件、技能、子代理配置、长期记忆等组件。它决定模型如何理解任务、如何调用工具、如何从失败中恢复,以及如何在多轮执行中保持稳定。
过去较常见的做法是“手工调优Harness”:工程师根据经验把系统提示写得更详尽,把工具库堆得更齐全,把中间件容错逻辑塞得更完整,再在公开基准或业务测试中不断缝补。这种方式有效,但存在两个问题:一是优化高度依赖工程师直觉,难以证伪;二是初始Harness越复杂,后续每次修改带来的性能变化越难归因,分不清提升来自“优化循环”还是“初始代码写得好”。
因此,本文对比两类方案:传统手工调优Harness与自进化Harness。前者以人工经验驱动,后者以可观测组件、轨迹反馈和自动迭代驱动。二者不是简单的新旧替代关系,而是适用于不同团队能力、任务阶段和风险边界的工程选择。
传统手工调优Harness,是指由工程师预先设计并维护Agent运行框架。典型特征是:系统提示尽量详尽、工具库尽量齐全、中间件包含较多容错逻辑,然后通过人工分析失败案例,修改提示、工具或中间件。它的优势是可控、直观、容易审查;缺点是组件之间容易耦合,修改一处可能影响多处,优化过程更接近“手艺活”。
自进化Harness,是指让Agent在明确评估基准和组件边界下,通过多角色协作自动修改Harness。常见分工包括:执行代理运行测试并产生轨迹,调试代理整理失败轨迹与问题定位,进化代理修改Harness组件并提交变更。其关键不是“让模型随便改代码”,而是把Harness拆成可观测、可版本化、可回滚的文件级组件,使每次变更都能被评估和追溯。
原始材料中还有一个重要对比维度:白板启动与经验预置启动。白板启动指初始Agent只保留极简工具,不预置大量中间件、技能或子代理;经验预置启动则先把人类经验塞满初始Harness。白板启动的代价是早期能力弱,但优点是归因干净:后续提升更容易归因于进化循环本身,而不是初始Harness写得好。经验预置启动上线快,但后续优化容易陷入“归因污染”。
两类方案的目标一致:提升Agent在复杂任务中的成功率、稳定性和可维护性。它们都依赖评估基准,都需要版本管理,都需要对失败轨迹进行分析,也都需要考虑权限、安全和回滚。区别不在于“要不要工程化”,而在于工程化由人主导还是由可观测的自动循环主导。
二者都强调组件化。传统方案也会拆分提示、工具和中间件,只是拆分粒度、解耦程度和变更追踪方式不同。自进化方案则进一步要求每个组件独立文件化、变更可追溯、效果可复现。二者也都受模型能力影响:模型升级会改变框架增益的上限,框架优化也会改变模型能力的释放程度。因此,讨论“模型强还是框架强”没有绝对答案,更合理的说法是:在模型能力达到一定水平后,Harness优化会成为重要的增量来源。
传统手工调优常见的问题是组件耦合。系统提示、工具描述和中间件逻辑互相影响,失败时很难判断问题出在提示不清、工具参数设计不合理,还是中间件拦截过度。自进化Harness强调正交组件:系统提示、工具描述、工具实现、中间件、技能、子代理配置、长期记忆分别独立管理。任务失败时,可以更精确地定位到某一类组件。所有修改通过版本管理记录,每次变更是可追溯、可回滚的提交。
这种差异直接影响优化效率。手工调优更像“整体调参”,自进化更像“按组件定位并做可证伪实验”。但自进化并非自动变好,它需要稳定评估集、可靠轨迹整理和防过拟合机制,否则自动修改也可能在基准上过拟合。
手工调优由工程师经验驱动,适合任务定义清晰、失败模式稳定、合规审查严格的场景。它的优点是变更意图明确,缺点是人力成本高,且难以规模化探索。自进化由轨迹反馈驱动,通过多轮迭代修改Harness。原始材料中提到的公开终端任务基准数据可以作为参考:某自进化方案从白板状态起步,10轮迭代后pass@1从69.7%上升到77.0%,超过手工调优基线71.9%;换用更强模型后,同一套框架达到84.7%。这组数据说明两点:第一,Harness优化可以带来约7个百分点的增益;第二,模型升级与框架优化可以叠加,而不是互相替代。
手工调优在早期往往更快见效,因为工程师可以直接注入领域知识。但当任务类型增多、工具数量上升时,维护成本会快速增加。自进化Harness的扩展性体现在组件边界清晰,新增能力可以落到具体组件中;但它的扩展依赖评估体系覆盖度,评估集不充分时,自动进化可能优化了错误目标。
自进化Harness涉及自动修改运行框架,安全边界必须提前设计:命令执行白名单、沙箱隔离、最小权限、变更审计、人工审批门禁和快速回滚缺一不可。手工调优的可控性更强,但也容易因为人工遗漏导致权限过宽。二者都需要把权限控制放在框架层,而不是依赖提示词约束。
手工调优的人力成本集中在工程师分析和修改;自进化Harness的前期工程投入更高,需要轨迹存储、评估流水线、组件版本管理和回滚机制,长期可能降低重复调优人力,但会增加评估与监控成本。选型时不能只看“+7个点”,还要看评估集维护、轨迹脱敏、迭代算力和人工审核成本。
| 维度 | 传统手工调优Harness | 自进化Harness |
|---|---|---|
| 优化驱动 | 工程师经验与人工分析 | 轨迹反馈、组件定位、自动迭代 |
| 归因能力 | 组件耦合时归因较难 | 正交组件+版本管理,归因更清晰 |
| 初期见效 | 快,可直接注入领域知识 | 较慢,需要评估与迭代底座 |
| 长期扩展 | 工具和中间件增多后维护成本上升 | 组件化扩展,但依赖评估覆盖度 |
| 安全可控性 | 变更意图明确,易审查 | 需沙箱、白名单、审计和人工门禁 |
| 成本结构 | 人力密集 | 前期工程投入高,长期看评估与运维成本 |
| 适用边界 | 合规强、任务稳定、快速上线 | 基准明确、组件可拆、允许回滚迭代 |
如果任务定义稳定、合规要求高、团队缺少评估流水线,优先采用手工调优或“手工为主、自动为辅”的方式更稳妥。如果任务链路长、失败模式多样、模型升级频繁,且团队具备组件化、版本管理和评估能力,可以引入自进化Harness,从低风险组件开始试点。
迁移时建议先做三件事:固定基线评估集;把Harness拆成可独立回滚的组件;建立变更审计与人工审批门禁。不要一开始就让自动循环修改全部组件,也不要在评估集不稳定时追求自动进化。自进化的价值在于把Harness优化从“手艺活”变成可证伪的工程过程,而不是替代工程判断。