简介:本文以某公开的长程智能体强化学习训练配方(下称方案A)与某前沿闭源旗舰模型的高推理强度调用方案(下称方案B)为对比对象,拆解两者在任务通过率、成本结构、训练与推理架构、可控性、运维复杂度与迁移风险上的差异。方案A以约64张新一代加速卡、不到5天的全参数强化学习,在终端与编程类任务上把 Pass@1 做到约46%,单任务成本较方案B的高推理强度档低一个量级以上;方案B则以极高的能力上限和零训练投入见长。文章给出中立、条件化的选型判断与迁移注意事项,帮助技术负责人判断"该训还是该调"。
长程智能体(long-horizon agents)正在从”修一个 bug”这种短交互,演进到连续数小时的终端操作与软件工程工作:读仓库、跑测试、看日志、改代码、再验证,动辄上百轮工具调用。这类任务的成本结构和过去完全不同——过去一次推理请求是”一次调用一次计费”,现在一条训练样本往往就是一次长达数小时的完整尝试,中间任何一步失败(环境崩了、评测器超时、依赖装不上),浪费的都是整段时间的加速卡算力。
于是技术团队面对的是一个非常具体的选择题:继续调用能力最强的闭源旗舰模型(能力上限高,但每完成一个任务都要按 token 付费,长程任务把单次成本放大了几十倍);还是投入一部分工程与算力资源,把一个开源基底模型通过强化学习训练成”够用且便宜”的专用智能体。本文就把这两类路线摊开对比。
方案A:小规模集群上的全参数长程强化学习方案。 它从一个总参数约320B、单 token 激活约17B的稀疏架构开源基底模型出发,做全参数强化学习(训练语言参数与多 token 预测层,冻结视觉塔与稀疏注意力索引器),并公开了完整训练配方。其关键结论不是”堆卡”,而是”百卡级集群也能逼近前沿效率”:环境筛选让每个任务都落在合适难度上、提供可靠信号;训练配方针对长、陈旧、低精度的 rollout 做了专门设计;训练与评测共用一套统一的智能体运行框架(harness)。最终结果是在三个终端与软件工程类公开基准上,Pass@1 与前两类前沿旗舰模型处于同一水位,而单任务成本低了一个量级以上。
方案B:前沿闭源旗舰模型的高推理强度调用方案。 它不要求你训练任何东西,直接通过接口按 token 计费使用,并且通常提供多档推理强度(思考预算/推理深度)供调节。能力上限高、任务泛化程度好、几乎零启动成本,代价是长程任务下的累计 token 成本、对外部服务的依赖,以及无法针对私有环境与私有工具链做参数层面的改造。
这是最本质的差异。方案B的成本是纯变动成本,与任务量成正比:单任务成本 ≈ (输入 token 数 × 输入单价 + 输出 token 数 × 输出单价) × 平均轮数 × 重试次数。长程任务里”平均轮数”和”重试次数”是乘数项,任何一个环节变慢变啰嗦,成本就成倍上涨;如果还开启最高档推理强度,单任务成本会进一步放大。方案A的成本是固定投入 + 低变动成本:训练侧是一次性的算力与人力投入,推理侧是自部署的加速卡占用成本。它的经济性成立条件很明确——任务量足够大、任务分布足够稳定。用一个粗略的摊销公式判断:
单任务总成本(自研) = 训练总成本 / (日均任务量 × 摊销月数)+ 自部署推理成本(每任务)+ 运维人力成本(每任务)单任务总成本(调用) = 调用单价 × 平均 token 数 × 平均轮数 × (1 + 重试率)# 判断规则:# 若 任务量 × 摊销周期 足够大,且 自研通过率 ≥ 业务可接受阈值,# 则自研方案的摊薄后成本显著更低;否则调用方案的综合成本更低。
注意:把训练成本算进去之后,”成本低30倍”这类数字是推理侧口径的结论,不代表含研发摊销的全生命周期总成本优势。做选型时务必统一口径。
方案B是通用能力最强的档位,对没见过的任务类型、跨领域知识、异常长尾场景更从容。方案A是在特定任务分布(终端操作、仓库级代码修改)上做了强化优化,其优势来自”训练分布与评测分布高度重合”——用同一类环境训练、在同一类基准上评测,因此在那条赛道上追平了通用旗舰。代价是分布外泛化能力未知:换一类任务(比如非编程的结构化数据处理、多轮客服对话),训练带来的收益可能不成立,需要重新评估。这既是它的优点(能力可被”训”出来)也是它的边界(能力被训练分布约束)。
方案A要额外解决三个方案B完全不存在的难题:
伪代码示意(通用异步 RL 循环,非任何专有工具):
while not converged:batch = []for _ in range(target_samples):model = policy_store.latest(min_staleness=6) # 允许 6 个版本陈旧traj = env.rollout(model, max_turns=200, timeout_s=7200)if env.is_valid(traj) and reward_informative(traj.reward):batch.append(traj) # 环境/奖励双重筛选losses = policy.update(batch, correction="importance_sampling")evaluator.regress(held_out_tasks) # 独立评测集回归
方案A的权重、训练数据、推理链路都在自己手里,可以把私有代码、内部工具链、专有评测器放进沙箱做训练与评测,数据不出域;也便于做深度定制(改工具调用格式、改系统提示、改解码策略)。方案B则依赖外部服务的可用性、限流策略与数据条款,敏感仓库代码能否送出域内是很多团队的一票否决项。这一维度上,方案A的优势是结构性的,与模型强弱无关。
方案A需要维护:加速卡资源池与调度、训练任务编排与断点续训、rollout 沙箱集群(高并发容器、资源隔离、镜像与依赖版本管理)、评测流水线、权重版本管理、以及推理侧的容量规划与弹性伸缩。任何一个环节不稳定,都会以”训练白跑几小时”的形式体现。方案B的运维主要落在调用侧:限流与重试、成本预算与告警、提示与工具链适配、灰度与回滚。总体人力投入显著更低。
方案A一次完整训练周期以天计,迭代速度慢,但公开配方 + 固定评测口径使结果可复现、可归因。方案B的模型能力由外部升级节奏决定,可能出现”同一份代码、同一套评测,换个时间跑结果变了”的漂移,需要锁定版本并做常态化回归。
原文中一个关键细节值得单独强调:通用基底模型用的是官方公布成绩,而自研模型用的是团队自建 harness 的评测结果。自建评测框架与官方框架在提示模板、工具集、超时设置、重试策略上往往不一致,跨口径直接比 Pass@1 会失真。 做技术选型时,务必用同一套 harness、同一批任务、同样的调用预算重新测一遍,否则”追平”与”低30倍”都可能是口径带来的错觉。
| 维度 | 方案A(自研全参数长程RL) | 方案B(前沿闭源旗舰调用) |
|---|---|---|
| 能力定位 | 在终端/软件工程等训练分布内接近前沿 | 通用能力与能力上限更高,分布外更稳 |
| 成本形态 | 一次性训练投入 + 自部署推理成本 | 纯按量付费,与任务量线性相关 |
| 长程任务单位成本 | 摊薄后显著更低(任务量大时成立) | 随轮数与推理强度快速放大 |
| 启动周期 | 周级(训练 + 调优 + 评测) | 天级(接入 + 适配) |
| 基础设施要求 | 数十张级高端加速卡 + 高并发沙箱集群 | 仅需稳定的网络与调用配额 |
| 定制能力 | 高:可改权重、工具格式、解码策略 | 低:限于提示与工具调用层 |
| 数据合规 | 数据不出域,私有仓库可参与训练 | 需评估数据条款与出域风险 |
| 运维复杂度 | 高:训练、rollout、评测、容量四条线 | 低:限流、成本、灰度 |
| 版本稳定性 | 权重自控,行为可复现 | 受外部升级影响,需锁定版本 |
| 失败代价 | 训练失败损失整段机时 | 失败只损失该次调用费用 |
| 适用规模 | 任务量大且分布稳定的团队 | 任务量小或需求多变的团队 |
| 主要风险 | 分布外泛化不足、环境/奖励噪声、评测口径偏差 | 成本随规模失控、依赖外部可用性、定制受限 |
这两类方案的差异不是”强弱”之争,而是成本形态与能力获取方式之争:方案A用一次性的训练与工程投入,把推理侧的单位成本压下来,并在训练分布内追平前沿水平,代价是运维复杂度、迭代周期与分布外泛化风险;方案B用按量付费换来极高的能力上限和几乎为零的启动成本,代价是成本随任务规模与推理强度线性放大、定制与数据出域受限。
回到决策本身,只需回答三个问题:任务量是否足够大且分布足够稳定、团队是否具备长程 RL 的环境与评测工程能力、数据合规是否要求模型链路完全自控。三个答案都偏”是”,自研路线(方案A)的性价比会明显占优;任何一个答案为”否”,先用调用方案(方案B)把业务价值验证出来、把评测口径与失败样本积累起来,是更稳健的顺序。无论走哪条路,统一的评测口径、可控的沙箱环境、完整的轨迹可观测性和单任务成本看板,都是绕不开的基础设施投入。