一、对比背景:为什么长程智能体开始被迫做“路线选择”
长程智能体的任务形态正在发生质变。早期智能体主要处理“修一个 bug”“跑通一条命令”这类短程任务,一次会话几轮工具调用即可结束;而当前主流形态已经转向连续数小时的终端操作与工程化编程工作:读代码库、定位问题、改多个文件、跑测试、看日志、再回滚重试,单次任务往往包含上百轮工具调用。
这个变化对成本模型的影响是结构性的,而不是线性的:
- 单次任务的计算量从“几次推理”变成“几十到上百次推理”,且每一步都要携带不断增长的上下文;
- 失败代价被放大:短程任务出错,损失是一次调用;长程任务在第 80 轮出错,损失的是前面 79 轮积累的全部上下文与算力;
- 重试是常态而非异常:为了拿到可用的通过率,工程上通常要做多次独立尝试再取平均,这会把单任务成本再乘以一个系数;
- 强化学习(RL)训练的样本极贵:一条训练样本往往就是一次完整长程尝试的轨迹,采样成本天然是推理成本的若干倍,因此“能不能训得起”成为路线选择的核心约束。
正是在这个背景下,业界出现了一个值得对比的公开案例:某研究团队以一款中等规模的通用基座模型为起点,通过全参数智能体强化学习,训练出一个 300B 级的终端与编程智能体(方案A 的代表实现)。其披露的结果是:在公开的终端交互任务基准上 Pass@1 达到 46.2%,与最高推理强度下的前沿旗舰模型处于同一水平区间;而单个任务的成本比该旗舰模型低 30 倍以上;这种提升还迁移到了两个软件工程类基准上。整个训练仅使用数十张新一代加速卡、耗时不到 5 天。
(需要提醒的是,此类横向比较存在天然的可比性折扣:基座模型的官方成绩、第三方 harness 的自测成绩、不同推理强度档位、是否开启工具重试,都会影响 Pass@1 的绝对值。因此更稳妥的读法不是“谁更强”,而是“在成本-效果平面上,这两条路线各自落在什么位置”。)
本文的对比对象由此确定:
- 方案A|基座 + 长程智能体强化学习自训:以一个可获取权重的基座模型为起点,用可验证奖励(测试结果、编译通过、任务是否达成)驱动全参数 RL,得到一个针对长程终端/编程任务特化的智能体模型,自行部署推理。
- 方案B|直调高推理强度前沿旗舰模型:不自训模型,直接调用外部提供的最强推理档位,通过提示词、上下文工程、工具编排和外部记忆把通用模型“包装”成长程智能体。
二、两个方案的定义与要解决的问题
方案A:把能力“固化”进权重里
核心逻辑是:既然长程任务的失败集中在少数可复现的错误模式(无效探索、过早收敛、误用工具、上下文污染、不检查测试结果就宣称完成),那就把这些错误作为负样本,用可自动验证的奖励信号反复训练,让模型在采样阶段就倾向于正确行为。
它解决的是边际成本问题:训练是一次性投入,训练完成后,每个任务的成本由自己部署的推理资源决定,与是否使用“最高推理强度”解耦。
方案B:把能力“外挂”在推理侧
核心逻辑是:不自训模型,用更强的推理档位、更长的思考预算、更细的编排策略去补偿基座能力的不足。
它解决的是上手速度问题:无需训练基础设施、无需奖励设计、无需评测集构建,几周内就能跑通一个可用的长程智能体。
三、相同点:不要误以为二者是“完全不同的技术栈”
在讨论差异之前,必须承认这两条路线共享了大量工程要素,很多团队误判难度正是源于忽略了这一点:
- 任务环境与工具层是共用的。终端沙箱、文件系统快照、代码检索、测试执行、日志采集,这些“环境侧”投资在两个方案中完全一致,且不因换方案而浪费。
- 都依赖可验证的奖励/评测信号。方案A 用它做 RL 奖励,方案B 用它做效果验收,二者都需要一套能自动判定“任务是否真的完成”的评测集,否则无法规模化迭代。
- 上下文管理是共同瓶颈。长上下文带来的注意力稀释、无关历史污染、token 成本膨胀,两个方案都要处理,方案A 只是把这个能力训进了模型,方案B 则要靠工程手段外挂。
- 失败模式高度重合。幻觉式完成声明、不读错误输出、无限重试、破坏工作区,这些问题的表现在两个方案中类似,只是发生频率不同。
- 都需要人机协作兜底。长程任务通常需要关键节点确认、危险操作拦截、失败回滚,这与选哪条路线无关。
四、核心差异:七个维度的拆解
4.1 效果水平与成本曲线
这是本案例最有价值的信息:在成本-效果平面上,二者可能存在交叠区间,但在该区间内自训方案的性价比更优。
- 方案B 的效果上限通常更高,尤其在开放域、非可验证、需要广泛世界知识的任务上;但它的成本随“推理强度档位”陡峭上升,且每一轮工具调用都要重新支付长上下文的输入成本。
- 方案A 的效果上限受基座模型能力约束——RL 能把基座已有能力“调出来”并稳定化,但很难凭空造出基座不具备的知识。因此方案A 的优势集中在“有明确可验证信号、错误模式重复出现”的任务域,例如终端操作、代码修改、脚本编写、日志排查。
- 成本差异的来源可以拆成三项:更小的推理档位即可达到同等效果、更少的无效探索轮次、更高的首次通过率降低了重试倍数。三者叠加,才形成“低一个数量级以上”的差距。
4.2 成本结构:一次性 vs 持续性
| 成本项 |
方案A |
方案B |
| 训练/一次性投入 |
有(算力 + 奖励工程 + 评测集建设) |
基本为零 |
| 推理单价 |
自部署,取决于自有资源 |
按调用计费,随档位上升 |
| 重试放大 |
通过率高,重试倍数低 |
需多次尝试取平均,成本乘数大 |
| 人力投入重心 |
前期:数据、奖励、训练调优 |
持续:提示词、编排、上下文策略 |
| 成本可预测性 |
高(自建容量,边际成本可测) |
中(随任务难度与档位波动) |
一个实用的判断方式是把成本写成可计算的式子,而不是凭感觉比较:
单任务期望成本 ≈ 单次尝试成本 × 期望尝试次数单次尝试成本 ≈ Σ(每轮输入 token × 输入单价 + 每轮输出 token × 输出单价) + 工具执行成本期望尝试次数 ≈ 1 / 首次通过率(在无早停、无预算上限的理想化假设下)
这个式子的含义是:首次通过率同时改善“单次成本”和“重试倍数”两个因子,因此它对总成本的杠杆远大于单纯降低单价。这也是自训路线的主要收益来源。
4.3 前置门槛:训练长程 RL 到底难在哪
方案A 的真实门槛不在算力规模(本案例只需数十张卡、数天),而在训练链路的工程完备性:
- 环境规模化:需要能并行拉起成百上千个隔离的终端沙箱,每个沙箱要能快速创建、快照、回滚、销毁;
- 轨迹可复现:RL 要求同一条轨迹的奖励可重复计算,环境的非确定性(网络、时钟、随机端口)会直接污染奖励信号;
- 奖励设计:长程任务没有天然标量奖励,必须靠测试通过率、编译结果、任务完成判定构造,且要防止“刷奖励”式的行为退化;
- 采样吞吐:一个 step 内要完成大量并发的多轮工具调用,调度器要处理长尾——最慢的那条轨迹决定整个 batch 的耗时;
- 稳定性:长上下文 + 全参数更新对显存与通信的要求高,checkpoint 频率和故障恢复能力直接影响有效训练时长。
如果团队不具备以上任意一项,方案A 的“省成本”结论会迅速被人力与返工成本吃掉。
4.4 接入方式、可控性与迭代节奏
- 方案B 接入最快:一次 SDK 替换 + 一套工具定义即可上线;但它是一个黑盒,你无法修正模型的错误倾向,只能改提示词与编排逻辑,迭代受上游模型版本节奏支配,且存在“上游换版本导致行为漂移”的风险。
- 方案A 迭代主动权在自己手里:可以针对内部代码风格、内部工具链、特定失败模式做定向优化,也可以固定模型版本以保证行为可复现;代价是每次能力升级都要走一遍“数据—奖励—训练—评测—灰度”的完整流程。
示意性的智能体主循环在两个方案中结构一致,差别在于 policy 是远程调用还是本地权重:
for turn in range(max_turns): obs = env.observe() # 终端输出、文件状态、测试结果 action = policy(obs, history) # 方案A: 本地权重;方案B: 远程推理接口 if action.type == "tool_call": result = env.execute(action) # 受控沙箱内执行,带超时与资源上限 history.append(result) if verifier.check(obs): # 可验证判定:测试通过 / 任务达成 return success(obs)return exhausted(budget=turn)
4.5 安全、合规与数据边界
这一维度往往是决定性的,而非参考项:
- 方案B 意味着代码、日志、配置、甚至部分生产数据会离开自有边界,进入外部推理服务。对于涉及核心代码资产、客户数据、受监管行业的场景,这会带来合规评估、数据出境、审计留痕等一系列要求。
- 方案A 全程在自有或专有网络内闭环,数据不出域,便于做细粒度审计与权限隔离;但安全责任也随之完全内化——沙箱逃逸、越权文件访问、危险命令执行,都需要自己建设拦截与审计能力。
- 无论哪条路线,长程智能体的高风险操作都应遵循最小权限原则:独立低权限账号、只读挂载为主、危险命令白名单/黑名单、写入范围限定在工作区、全量操作日志留痕。
4.6 运维复杂度与弹性
- 方案B 运维更轻:弹性由上游提供,无需容量规划;代价是配额、限流、长尾延迟、供应商稳定性不可控。
- 方案A 运维更重但更可控:需要自建推理服务的扩缩容、批处理调度、显存与吞吐调优、监控告警与日志聚合;一旦容量规划得当,长尾延迟和吞吐上限都在自己掌握之中。工程上通常把自部署推理放在容器平台上做弹性伸缩,配合负载均衡与指标采集,这在云上属于通用做法,并不依赖特定厂商能力。
4.7 对比总表
| 维度 |
方案A|自训长程智能体 |
方案B|直调旗舰模型 |
| 典型效果区间 |
可验证任务域上接近旗舰水平 |
通常具备更高效果上限 |
| 单任务成本 |
显著更低(案例中低一个数量级以上) |
随推理档位上升,长上下文放大明显 |
| 首次通过率 |
经 RL 优化,重试倍数低 |
依赖提示词与编排,重试倍数较高 |
| 前置投入 |
训练链路、环境规模化、奖励设计、评测集 |
接入开发为主 |
| 迭代周期 |
长(数据→训练→评测→灰度) |
短(改提示与编排即可) |
| 可控性 |
高,可固定版本、可定向修正 |
低,受上游版本影响 |
| 数据合规 |
数据不出自有边界 |
需评估数据外流与合规风险 |
| 运维负担 |
较重(推理服务、调度、监控) |
较轻(配额与限流管理) |
| 效果上限 |
受基座能力约束 |
受所选档位约束 |
| 主要风险 |
训练不稳定、奖励被“刷”、环境非确定性 |
行为漂移、成本失控、供应商锁定 |
五、典型场景选择
更适合方案A 的场景
- 任务高度可验证:有测试、有编译、有明确的成功判定;
- 任务量极大且模式重复:单日数千次以上的终端/代码任务,边际成本差异会被规模放大;
- 数据敏感:代码资产、生产日志、客户数据不能离开自有环境;
- 有稳定 MLOps/推理运维能力的团队,且希望长期积累自有智能体能力;
- 需要固定行为基线以支撑回归测试与合规审计。
更适合方案B 的场景
- 处于探索期,需求与任务形态尚未定型;
- 任务是开放域、低重复度,缺少可靠的自动判定信号;
- 团队没有训练与推理运维储备,首要目标是快速验证业务价值;
- 任务量较小,训练投入无法在合理周期内摊薄;
- 需要覆盖广域世界知识、非结构化理解类工作。
混合路线(实践中常见且往往更务实)
用方案B 快速跑通业务闭环并积累真实失败轨迹,把这些轨迹沉淀为评测集与训练数据;待任务模式稳定、调用量上量后,再以方案A 承接高频可验证任务,把方案B 保留给长尾与疑难任务。这相当于把方案B 当作“能力上限探针 + 数据飞轮”,把方案A 当作“成本结构优化器”。
六、选型建议:用条件化判断替代绝对结论
- 若日均任务量 × 单任务成本已经构成显著支出,且任务可自动判定,优先评估方案A;此时一次性训练投入的回收周期通常可接受。
- 若首次通过率长期偏低导致重试倍数居高不下,问题往往出在能力特化而非档位不足,方案A 的收益会更明显。
- 若团队缺乏隔离沙箱与可复现环境能力,不要贸然启动全参数 RL;先把环境与评测集建好,这部分投入在两个方案中都不浪费。
- 若业务处于合规强约束领域(核心代码、客户数据、受监管行业),方案A 的“数据不出域”价值通常超过其成本优势本身。
- 若需求仍在高频变动,先用方案B 验证,把选型决策推迟到有真实数据支撑之后。
- 不要以“自训一定更便宜”为前提做决策:训练失败、奖励设计偏差、环境不稳定都会让实际总成本反超,需以小规模试点(如一个业务线、一个基准子集)验证后再放大。
七、迁移与使用注意事项
从方案B 迁移到方案A,或反向迁移,需要重点评估以下风险:
- 评测不可比:不同 harness、不同超时设置、不同工具集定义会导致 Pass@1 不可直接对比。迁移前应固定一套自有评测集与判定标准,作为唯一基线。
- 行为分布变化:换模型意味着工具调用格式、参数命名习惯、错误恢复策略都会变,下游解析器与工具 schema 需要回归测试,避免“模型没问题但解析失败”。
- 接口与协议适配:无论自部署还是托管调用,都应把推理访问抽象为统一网关(鉴权、限流、超时、重试、埋点),使模型可替换而不改动业务代码。
- 上下文策略需重调:不同模型对上下文长度的有效利用率不同,历史裁剪、摘要压缩、工具结果截断策略要重新调参。
- 权限与隔离:自部署不等于自动安全。必须做低权限账号、工作区隔离、危险操作拦截、全量审计日志。
- 容量与弹性规划:长程任务对并发沙箱的消耗远大于普通推理,需按峰值并发 × 单会话资源占用做容量测算,并设置单任务预算上限与熔断。
- 可观测性:至少采集轮次分布、工具成功率、任务完成率、单任务 token 与耗时、失败归因分类,否则无法定位成本异常与效果回退。
- 版本与灰度:模型权重、提示模板、工具定义三者应统一版本化管理,灰度放量并保留快速回滚路径。
八、总结
这两条路线的本质差异,不是“谁更聪明”,而是把智能放在哪里、成本以什么形式支付:
- 方案B 把智能留在推理侧,用持续的高单价调用换取即时可用性与较高效果上限,适合探索期、开放域任务与数据可外流的场景;
- 方案A 把智能固化进权重,用一次性训练投入换取长期低边际成本与完全可控的行为基线,适合高频、可验证、数据敏感的工程任务;
- 二者的环境层、评测层、编排层大量重叠,因此不存在“选错就全部推翻”的决策——先行建设的沙箱、评测集与网关,在两条路线上都是有效资产。
在长程智能体场景下,首次通过率对总成本的影响通常大于单价本身,这也是自训路线性价比优势的主要来源。理性的做法是先明确任务是否可自动验证、日均调用规模、数据合规边界与自有运维能力这四项约束,再决定是“先直调验证、后自训降本”,还是“直接以自训方案承接高频任务”。