简介:做工具调用型SubAgent时,是直接调用通用大模型,还是用70亿参数级小模型配合监督微调与强化学习(GRPO)训练?本文从能力、成本、可控性、安全与运维等维度对比两类方案,并解析离策略程度、样本效率与特权信息对训练的影响,给出场景化选型建议与迁移注意事项。
在构建业务智能体时,一个绕不开的子任务是工具调用:把用户意图映射到合适的工具,抽取参数并填充,必要时串联多步操作。围绕这一职责构建的模块,通常称为工具调用型SubAgent,典型形态包括业务问数助手、工单处理助手、智能客服中的业务办理助手等。
这类模块的调用量通常很大,对单请求延迟也比较敏感。很多团队因此会考虑:能否用参数量更小、单位推理成本更低的模型来承接?一类常见的做法是,用一个70亿(7B)参数级的小模型,替代此前参数量在百亿以上的通用大模型,承接基金助手等特定场景中的工具选择任务。
然而,小模型的知识容量和指令遵循能力都有限,工具选对、参数填准成为核心挑战。近年,用强化学习(Reinforcement Learning, RL)提升智能体工具调用能力逐渐成为热门方向。围绕RL近期讨论较多的话题,包括离策略程度(off-policyness)、样本效率(sample efficiency)和特权信息(privileged information)。它们本质上都可以放到“监督微调(SFT)+RL”的训练动力学框架下来理解。
基于这一背景,本文选取两类典型方案进行对比:
需要说明的是,两类方案的差距不在“模型好不好”,而在于能力从何而来:是从通用预训练与规模化推理中获得,还是从场景数据的后训练中习得。理解这一点,才能理解二者在能力上限、成本结构、稳定性和工程投入上的全部差异。
基本含义:以通用大模型为推理引擎,把工具清单以结构化方式提供给模型,由模型输出工具调用指令,再由业务系统执行并回填结果。业务团队主要维护提示词、工具描述和调用编排,不承担模型训练。
解决的问题:在较短时间内获得覆盖面广的工具调用能力。通用模型通常具备较强的指令遵循与参数抽取能力,对没见过的新工具,往往凭工具描述就能合理调用。
典型实现方式包括:
基本含义:以一个中小参数量模型(如70亿参数级)为底座,经过以下阶段得到专用SubAgent:
GRPO是一类策略优化算法,其核心是:对同一问题采样多条候选回答,以组内平均奖励作为基线来计算相对优势。相比需要独立价值网络的经典近端策略优化(PPO),它省去了一个价值模型,显存占用与实现复杂度都更低,因此常被用于中小规模模型的强化学习训练。
解决的问题:在知识边界清晰、工具集合相对固定的场景中,用专用模型获得低延迟、低单位成本,并且行为可控、可审计的工具调用能力。
两类方案并非完全互斥。实践中常见的折中形态有两种:
本文聚焦两者各自的适用边界,不对这类组合形态展开。
尽管能力来源不同,两类方案在目标、接口和工程约束上高度一致。
{"name": "query_fund_holdings","description": "查询指定基金在指定日期的持仓数据","parameters": {"fund_code": {"type": "string", "description": "基金代码,6位数字"},"trade_date": {"type": "string", "description": "交易日,格式YYYY-MM-DD,不可晚于今天"}}}
因此,两类方案的差异不在接口层,而在能力获取方式和系统形态。这也意味着,若前期做了良好的抽象,从方案A切换到方案B的接口改造量可以控制得较小,这一点将在迁移部分详述。
因此,“用7B模型替代大模型”准确的说法是:在一个有界任务域内做能力置换,而不是通用能力等价替换。这也解释了为什么业务轨迹的质量比模型规模更关键:特权信息等手段之所以有效,是因为它们能把“难以自发探索到的正确行为”转化为可学习的监督信号,下文会展开。
需要强调的是,参数规模与延迟、成本之间并非线性关系。批处理策略、推理框架、上下文长度、并行策略都会显著影响结果,具体数据必须在目标负载下压测确认。
前期投入较大,但一旦流水线建成,新增场景只需增量数据和奖励调整。
在可观测性上,两者都应记录完整的工具调用链(请求、候选工具、选择结果、参数、执行结果、延迟),以便定位错误来源。方案B还可额外观测训练期的奖励曲线、策略熵等指标,问题定位链路更完整。
这三个概念常被并列讨论,实际上互相牵制:
| 概念 | 核心含义 | 主要影响 |
|---|---|---|
| 离策略程度 | 用于更新的数据由当前策略产生,还是由旧版本策略或其他模型产生 | 影响梯度可靠性与训练稳定性 |
| 样本效率 | 单位训练样本或采样量带来的能力提升 | 决定训练时间与算力消耗 |
| 特权信息 | 训练时可用、推理时拿不到的额外信息(如标准答案、工具真实返回、证据片段) | 提高信号密度,但可能造成训练与推理不一致 |
离策略程度:经典PPO以近端策略优化为核心,刻意限制新旧策略的偏离幅度。部分RL工作会采用旧策略产生的数据,或多模型协同来产生数据,以更充分地利用已有样本。离策略程度越高,采样效率往往越高,但重要性采样比值的偏差会增大、梯度方差上升,因此通常需要更严格的裁剪和约束。
对工具调用任务而言,多步交互还会带来额外的信用分配问题:
样本效率:GRPO对同一问题采样多条候选,用组内平均奖励作为基线,在训练奖励可区分的前提下往往能节省一部分采样量。当一组候选全部正确或全部错误时,组内奖励没有差异、优势为零,这些样本对更新没有贡献,需要过滤或调整题目难度。对于固定工具集的任务,还可将工具选择的正确性与参数抽取的正确性拆成不同奖励分量,使信号更密集。
特权信息:训练时可利用推理时拿不到的信息来“提示”模型。例如,给模型展示标准工具调用或检索到的证据,让其学习如何推理,再逐步撤去这些提示。这种方式能让小模型习得原本难以自发探索到的行为。但“ hints消失后能否保持”是关键风险,通常需要按课程逐步降低信息强度,并在无特权信息的评测集上验证。
SFT+RL的宏观动力学:SFT负责把模型拉入正确的输出空间,RL负责在其中优化。实践中的常见观察是,RL增益的上限往往与SFT后的基座水平相关:
因此,方案B的合理顺序通常是“先把SFT做扎实,再用RL精修”,而不是指望RL弥补SFT的缺失。这一规律同样适用于大规模通用模型的后训练,但它对小模型尤其重要,因为小模型的可用容量更少。
# 通用示意:GRPO训练循环(伪代码)for step in range(total_steps):prompts = sample_prompts(training_set, batch_size) # 1. 采样任务(通常取当前策略)group = [rollout(policy, p) for p in prompts for _ in range(G)] # 2. 每个任务采样 G 条回答rewards = compute_rewards(group) # 3. 规则奖励:工具是否正确、参数是否合法# 4. 组内归一化得到优势;组内全对或全错时优势为 0,可过滤adv = groupwise_normalize(rewards)loss = policy_loss(group, ref_policy, adv, clip_ratio, kl_coef) # 5. 裁剪 + KL 约束update(policy, loss)
无论哪种方案,工具执行侧都应遵循最小权限原则,对写操作、资金操作等高风险工具设置审批或二次确认,并对所有调用做审计留痕。
两类方案的成本结构不同:
可以粗略地把总成本理解为:
方案A总成本 ≈ 单次推理成本 × 调用量 + 接入与运维成本方案B总成本 ≈ 单次推理成本 × 调用量 + 数据成本 + 训练算力成本 + 平台与人力成本(按周期摊销)
存在一个理论上的成本交叉点。在调用量低于交叉点时,方案A更经济;高于交叉点后,方案B的单位成本优势逐渐显现。但交叉点受调用量、任务复杂度、上下文长度、模型与硬件选型、团队效率等多因素影响,不宜照搬他人经验,应以自身业务负载实测为准。
| 对比维度 | 方案A:通用大模型直调方案 | 方案B:小模型GRPO训练方案 |
|---|---|---|
| 能力来源 | 通用预训练与通用后训练 | 场景SFT + GRPO强化学习 |
| 能力上限 | 通用能力强,泛化好 | 取决于底座与训练数据,在训练分布内较强,分布外衰减较快 |
| 延迟与吞吐 | 上下文长、模型大,延迟相对较高,吞吐受资源约束 | 模型小、上下文短,延迟更易压低,单实例吞吐更高 |
| 接入难度 | 低,提示词加工具描述即可 | 高,需要数据管道、奖励设计与训练平台 |
| 可控性 | 行为可能随服务版本变化 | 权重固定、行为可复现,但训练不稳定时可能退化 |
| 离策略程度与样本效率 | 基本不涉及 | 核心训练变量,直接影响稳定性与训练成本 |
| 特权信息 | 基本不涉及 | 可用于提升小模型学习效率,需注意训练与推理一致性 |
| 安全与合规 | 取决于托管或自部署形态,托管需关注数据出域 | 可私有化部署,数据不出域,权重与数据同样需管控 |
| 运维复杂度 | 托管模式低,自部署模式较高 | 较高,需要MLOps与训练运维能力 |
| 成本结构 | 推理成本随调用量线性增长 | 前期投入高,高频调用下单位成本更低 |
| 扩展方式 | 更新工具描述即可支持新工具 | 新工具可能需要补充数据并增量训练 |
| 适用场景 | 快速上线、长尾多样、复杂多步任务 | 调用量大、工具集稳定、数据敏感、低延迟场景 |
从方案A迁移到方案B,需要重点关注以下方面:
在云上落地时,可以借助通用的云产品能力降低建设成本:
若希望在百度智能云上构建,可结合其容器、存储、日志监控及大模型服务类产品,按上述思路搭建方案A或方案B。
通用大模型直调方案与小模型GRPO训练方案的核心差异,可以归结为一句话:
对于基金助手这类工具集稳定、调用量大的场景,后者具备明显的长期价值。但“7B替代大模型”并非通用能力的等价替换,而是在有界任务域内的能力置换,其上限取决于底座、SFT数据质量以及RL训练是否稳定。
选型时不必急于二选一,更稳妥的路径是:先以方案A建立基线,再根据调用量、评测差距和团队能力,分阶段引入SFT与GRPO,并保留回退机制。离策略程度、样本效率与特权信息是这一过程中需要持续关注的训练动力学变量,它们决定了专用模型能否稳定地逼近业务目标。