Agent Harness详解：同一个模型为何能从30分到95分

agent-harness-">一、概念定义：Agent Harness 是什么

Agent Harness（智能体执行框架，也称模型外围工程系统）是指围绕大语言模型构建、驱动其完成真实任务的整套运行时工程系统。典型构成包括：上下文管理、外部状态存储、代码执行环境、子智能体调度、智能体间通信与反馈控制。它不改动模型权重本身，却直接决定模型智能在具体任务中被释放的程度。

一个被工程实践反复验证的事实是：同一份权重文件，只更换外围框架，在某项通用抽象推理基准上的成绩可以从约30%提升到95%甚至接近满分。这意味着，评测一个”AI系统”时若只盯模型版本，结论会严重失真——真正的主变量在模型之外。技术社区里每隔几天就会出现的”上下文工程不算研究问题”之类的论调，恰好是对这一事实的反面印证：把工程问题误判为已解决的问题，正是能力差距被持续拉开的窗口期。

理解这一概念，最有效的类比来自计算体系演进：

• 裸LLM≈图灵机：理论上具备通用能力，但只有一条有限长度的”纸带”（上下文窗口），没有外部存储，任务一长便不可避免地”遗忘”与”失焦”；
• LLM+Harness≈冯·诺依曼架构计算机：可以在外部存储（文件系统、数据库）上随机读写，拥有持久状态、可扩展的工作记忆与任务调度能力。

两者在表达力上的代差，最终会原样体现在任务成绩的代差上。

二、背景与价值：为什么”模型之外的工程”值得被单独定义

大模型落地中存在一种普遍错觉：选定足够强的模型，剩下的事就是写提示词。实际失败案例大多不符合这个叙事——模型没有变弱，任务也没有变难，变化的只是上下文何时被压缩、状态何时被持久化、子任务何时被派生与回收。

围绕Harness的讨论之所以成型，是因为它把三个此前散落的问题统一到一个框架下：

1. 表达力问题：框架应给模型提供哪些原生不具备的能力，哪些能力又已无需在框架层面强加；
2. 资源边界问题：整套系统能否在个人设备或私有硬件上运行，约束条件是什么；
3. 组织落地问题：把智能体放进真实组织后，最先出问题的往往不是技术，而是权限、信任与协作方式。

从投入产出看，其价值同样清晰：更换更强的模型意味着持续的调用成本，且能力上限随行业水位抬升而”自动贬值”；改进Harness则是一次性工程投入，收益可持续积累，并对后续更换的每一代模型同样生效。换言之，Harness是可复用、可沉淀的工程资产，模型更接近随时间折旧的消耗品。

三、核心组成：三层上下文模型

一个被广泛引用的抽象，是把智能体运行时的上下文分为三层：

• L1 权重层：模型参数编码的静态知识与通用能力，训练完成后基本不变；
• L2 活跃上下文层：当前参与推理的内容，包括对话窗口与交互式执行环境（REPL），读写快但容量有限；
• L3 调度状态层：文件系统、数据库等持久化外部状态，容量大、可跨会话存续，但需显式读写。

Harness的全部工作，就是在三层之间做三件事：

1. 压缩：当L2面临溢出时，把低活跃内容蒸馏归档到L3，再把精炼摘要载回L2；
2. 增删改查：让模型能对L3中的外部状态实时读、写、更新、删除，而不是只在对话里”口头引用”；
3. 精炼：基于任务反馈对中间产物迭代改进，把”一次生成”变成”持续打磨”。

这组职责与操作系统的内存管理高度同构：L2相当于内存，L3相当于外存，压缩与载入相当于换页，清理无用上下文相当于垃圾回收。调度策略的好坏，直接决定系统的”有效智能吞吐量”。

四、工作原理：以表达力为核心的运行机制

1. 判定标准：表达力而非功能数量

评估Harness的优劣，标准不是功能清单长度，而是表达力：它让模型能完成多少”删掉之后无法用其他方式补偿”的任务。据此可分两类边界：

• 已原生内化、无需框架强加：固定循环式的”推理—行动—观察”工作流。当代模型在训练中已充分见过这类模式，再在框架层硬编码，收益趋近于零，反而增加复杂度；
• 必须由框架提供的五项基础能力：上下文压缩（否则长任务必被窗口截断）、代码执行环境（精确计算与自我验证的前提）、编程式子智能体（用”写程序”的方式编排子任务）、状态访问（跨会话延续工作）、反馈机制（形成结果闭环）。

消融原则很朴素：删掉任何一项，等于删掉一类模型无法自行补回的任务能力。

2. 主循环的抽象形态

while 任务未完成:
    观测 = L2推理与执行(当前上下文)     # 含代码REPL结果
    L3.crud(观测产生的状态变更)         # 外部状态增删改查
    if L2接近容量上限:
        归档 = 压缩(L2中的低活跃内容)
        L3.write(归档)
        L2.load(精炼摘要(归档))
    反馈 = 评估(任务目标, L3当前状态)
    L2.refine(反馈)                    # 基于反馈精炼下一步行动

3. 子智能体的进程模型

子智能体不应是”临时生成、用完即弃”的一次性调用，而应实现为可持久存在的子会话，具备类似操作系统进程的生命周期：可运行、可挂起、可唤醒、可卸载。这样，长任务的中间结论不会因上下文切换而丢失，多个子任务可并行推进，系统资源占用也可被主动调度。

4. 通信拓扑

任意两个智能体之间应能直接发送消息，而非所有协作都经中心节点中转。网状直连能降低协作延迟，也让”一个智能体委托另一个长期跟踪某件事”成为自然工作方式，并与”持续运行式框架”的实时增删改查思路配合。

五、典型场景：能力落地的两大主战场

场景一：组织级个人助理

有工程团队在为全员配发个人助理的多轮迭代中，反推出一个可用形态，其能力组合包括：个人上下文（用户独立的记忆与偏好）、沙盒文件系统（隔离安全的操作空间）、定时任务（无人值守的周期性工作）、多人协作（同一任务可多人介入）。实际承接的工作覆盖邮件分类、法务与财务流程、文档编辑、内部取数、内部Web应用的启动等。

经验教训是：技术能力只是入场券，真正决定成败的是组织侧设计——权限如何分配、哪些操作需人工确认、多人并发如何仲裁，这些会先于模型能力成为瓶颈。

场景二：个人智能的本地化部署

“个人AI不该困在云端”是另一条清晰主张。云端调用存在四个代价：按年计算的接口费用可达数千乃至数万美元且随用量增长；最私人的数据必须发往云端；本质是”租智能”而非”拥有智能”；能耗高出本地优化路径几个数量级。

本地化的可行性正在改善：工程实践显示，中等参数量的开源本地模型，能力已大致追平约一年前的前沿闭源模型，差距收窄至6到12个月；专用硬件加速器也在同步进步。

一个可操作的思路是用五个原语定义整个本地技术栈，使其可被整体优化：界面（交互入口）、智能体逻辑（编排与决策层）、模型（可替换的推理内核）、推理引擎与硬件（执行载体）、工具记忆与学习（外界交互与经验积累通道）。部署策略上遵循一个原则：尽量不动LLM本身，让云端更强的模型承担”诊断与门控”角色——帮助调优本地配置，日常推理全部在本地完成，不再产生持续云端成本。

对选择云端路径的团队，Harness的L3状态层与运行时编排同样可依托成熟通用云能力构建，例如百度智能云的容器平台、对象存储、消息队列、监控告警等基础类目；关键在于把”状态持久化”与”任务调度”两层抽象设计清楚，避免与具体基础设施过度耦合。

六、相关概念区别：容易混淆的四组概念

1. Harness与模型：模型是”原生智能”的载体，上限由训练决定；Harness决定上限被兑现的比例。同一模型在不同Harness中的差异，可能远大于两个模型在同一Harness中的差异。
2. Harness与提示工程：提示工程优化单次交互质量；Harness设计系统级架构——状态、调度、通信与反馈。前者是”把话说好”，后者是”把事做完”。
3. Harness与上下文工程：上下文工程是Harness的核心子问题，聚焦”什么信息、以何种形式、何时进入上下文”；Harness还额外覆盖执行环境、子智能体、通信与权限等系统议题。
4. Harness与工具调用：工具调用只是模型与外部世界的一条通道，是Harness的一小部分；仅有工具调用的系统仍缺压缩、持久状态与反馈闭环，无法支撑长周期任务。

七、使用注意事项

1. 用长周期指标评估：短程基准分数会高估系统能力，应观察长周期任务性能曲线，重点关注”平台期”出现的位置——它刻画当前架构的能力天花板；
2. 做能力消融测试：逐项移除五项基础能力，测量任务退化幅度，据此判断各项设计是否真正产生价值；
3. 不重复建设已内化的能力：固定循环式工作流无需再硬编码，把工程预算投向压缩、执行环境、状态与反馈这些模型无法自带的环节；
4. 组织落地先于功能堆叠：权限模型、信任机制（哪些操作需人工确认）、协作协议要在早期设计，不要等事故倒逼；
5. 本地化要算总账：硬件一次性投入、电费与折旧，对比多年接口费用现值，并把隐私合规收益计入；
6. 安全基线：子智能体的沙盒隔离、外部状态的最小权限读写、关键操作的审计日志，是严肃部署的底线配置。

八、总结

回到定义本身：Agent Harness是模型智能与真实任务之间的工程桥梁，负责在权重层、活跃上下文层与调度状态层之间完成压缩、增删改查与精炼。它的价值在于把”模型能答对”转化为”系统能做完”——同一个模型从30分到95分的跃迁，正来自这份桥梁工程的完备程度。

它适合所有需要长周期、多步骤、跨会话、可协作完成任务的场景；边界也很清楚：Harness不能凭空创造模型不具备的知识与推理能力，它做的是”释放”而非”注入”。因此，理性的工程决策是双轨的——按需升级模型以抬高能力上限，持续打磨Harness以兑现能力上限。两轨之中，后者更可控、更可积累，也是多数团队当前真正的短板所在。