agent-">决策模型分层评测与 Agent 降本路径：一类“小模型接管常规决策”方案的评测框架

一、评测概述

在当前的 Agent 实现中，一个颇具反差的工程现象长期存在：明明只是从若干候选工具中选出下一个动作，却往往需要完整调用一次大语言模型，经历一次包含上下文理解、自然语言推理和格式化输出的完整前向过程。这种“高射炮打蚊子”式的调用模式，在任务链路较长、单任务需要数十次决策时，会迅速放大成本与延迟。

围绕这一问题，一种思路是引入专门的决策模型（Decision Model）：让小模型承担 Agent 执行过程中的常规决策，把复杂推理与不确定情形保留给大语言模型。相关研究在特定任务环境下报告了可观的成本下降与速度提升，同时将任务成功率损失控制在预设的非劣性界限内。

本文的评测对象不是某一个具体产品，而是“决策模型与语言模型分层协作”这一类 Agent 架构方案。本文要回答的核心问题是：这类方案是否值得作为 Agent 的新技术路线，以及在实际选型中应当如何评测它。目标读者包括开发者、系统架构师、技术负责人，以及负责 AI 应用成本与稳定性治理的运维人员。

需要强调的是，本文评测不以“好或不好”为结论，而是围绕业务场景、系统规模、成本结构与长期维护需求，建立一套可观察、可验证、可解释的评测框架。

二、评测目标

针对这一技术路线，评测应重点验证以下问题：

1. 功能完整性：决策模型能否覆盖 Agent 循环中的典型决策点，包括工具选择、枚举参数填写、是否反思、是否终止任务等；
2. 准确性：在独立决策、轨迹中间状态、完整任务三个层次上，小模型的选择是否正确；
3. 性能表现：单次决策的响应时间、单任务端到端时延、单位时间可处理的决策次数；
4. 稳定性：在输入分布漂移、工具集合变化、上下文变长时，决策质量是否可保持；
5. 成本结构：模型调用成本、编排与 Harness 层的额外开销、训练与维护成本；
6. 可控性与安全性：当决策模型置信度不足时，能否可靠回退到大模型，避免错误动作被执行；
7. 可维护性：决策模型的训练数据更新、版本升级、监控告警与问题定位能力。

三、评测对象说明

该方案的核心是把 Agent 循环中的工作拆成两类：

• 复杂推理类：理解用户意图、拆解未知问题、制定多步计划；
• 常规决策类：选择工具、填写枚举参数、判断是否需要反思、判断是否结束任务。

后一类问题在多数情况下可以被表达为选择题：给定当前状态与候选选项，输出各选项的概率分布，而不必生成完整的自然语言推理链。例如面对三个候选动作 A（查询订单）、B（取消订单）、C（向用户询问），决策模型可能输出 A 为 0.92、B 为 0.05、C 为 0.03，Harness 再依据置信度决定是直接采纳，还是升级给大模型。

这一设计的工程意义在于：把“高频、低复杂度”的决策从大模型调用中剥离，使大模型只处理真正需要推理的环节。

四、评测维度设计

维度	关注点	验证方式	结果解读
功能完整性	决策点覆盖度、候选空间构造能力	枚举典型 Agent 循环中的决策类型，逐类验证	覆盖不全则需保留大模型兜底
准确性	三层准确率：独立问题、轨迹、完整任务	分层基准测试，逐层记录	三层指标差距大，说明离线准确率不能直接推导线上任务成功率
性能	单次决策延迟、端到端时延、吞吐	固定并发下压测，记录分位延迟	收益取决于决策次数占比，而非单次调用绝对值
稳定性	分布漂移、工具集变化、长上下文	变更工具集合与输入分布后复测	指标明显下滑说明泛化边界较窄
成本	调用成本、编排开销、训练成本	按调用量建模，分项核算	需扣除 Harness 与回退调用带来的额外成本
可控性	置信度阈值、回退机制、错误动作拦截	注入低置信度与对抗输入	回退不及时会放大错误动作风险
可维护性	数据更新、版本管理、监控	观察日志、指标、追踪完备度	缺乏可观测性会显著抬高长期运维成本

其中准确性维度值得单独展开。相关研究将其拆为三层：

• L1 独立问题准确率：给定问题与候选工具，判断选择是否正确，考察基础判别能力；
• L2 执行轨迹准确率：把模型放入真实 Agent 的中间状态，测试其能否正确决策，考察上下文适应能力；
• L3 完整任务成功率：真正让模型控制 Agent，观察最终任务是否完成，考察误差累积效应。

三层之间存在天然落差：L1 高不代表 L2 高，L2 高也不代表 L3 高，因为单步小误差会在长链路中累积。因此评测时必须三层同时观测，不能只凭离线准确率下结论。

五、评测环境与前提

评测前需明确以下边界条件：

• 任务域：决策模型通常在特定任务环境下训练与验证，跨域迁移能力需单独评测；
• 工具集合规模：候选选项数量直接影响决策难度，应记录工具数量与变更频率；
• 上下文长度：中间状态所携带的历史信息长度，会影响小模型的有效感受范围；
• 调用方式：同步调用与批量调用对延迟指标的影响不同，需统一口径；
• 资源配置：决策模型与大模型各自的部署资源、并发上限应分别记录；
• 基线设定：必须以“全部决策均由大模型完成”的原始 Agent 作为基线，才能量化收益与损失。

六、评测方法

建议按以下流程组织评测：

1. 建立基线：在相同任务集、相同工具集、相同资源配置下，记录纯大模型 Agent 的成本、时延与成功率；
2. 分层验证准确性：分别构造 L1、L2、L3 测试集，记录各层准确率，并观察层间衰减；
3. 性能压测：在固定并发下测量决策模型单次调用延迟分位数、单任务端到端时延与吞吐；
4. 稳定性观察：变更工具集合、注入长上下文、模拟输入分布偏移，复测三层指标；
5. 异常与安全测试：注入低置信度样本、歧义输入与对抗样本，验证回退机制是否及时触发；
6. 成本建模：按“决策次数 × 单次成本 + 回退次数 × 大模型成本 + 编排开销”分项核算；
7. 可观测性检查：确认是否具备决策日志、置信度指标、回退率监控与链路追踪。

示意性伪代码如下，用于表达置信度门控逻辑，不含任何具体平台或工具信息：

def decide(state, candidates, threshold):
    probs = decision_model.predict(state, candidates)
    best, p = argmax(probs)
    if p >= threshold:
        return best          # 小模型直接决策
    return llm_decide(state, candidates)  # 回退大模型

评测中应重点观察 threshold 变化对“回退率—成功率—成本”三角关系的影响：阈值过高则回退频繁、成本优势削弱；阈值过低则错误动作增加、成功率下降。

七、结果解读

解读结果时应把握几点：

• 成本与速度收益来自决策次数占比：若单任务中常规决策占比高，收益显著；若任务以复杂推理为主，收益有限；
• 成功率损失必须在预设非劣性界限内：相关研究以若干百分点的非劣性界限约束损失，评测时应先确定业务可接受的成功率损失上限，再判断方案是否达标；
• 层间衰减是重要信号：L1 到 L3 衰减越大，说明误差累积越严重，越需要更频繁的回退或更强的轨迹级训练；
• 回退率是隐性成本：回退调用仍走大模型，回退率过高会侵蚀成本优势，需与阈值联合调优。

八、适用场景与风险边界

较适配的场景：任务域相对固定、工具集合稳定、单任务决策次数多、对延迟与成本敏感、且允许一定成功率波动的 Agent 应用。

需谨慎的场景：任务高度开放、工具集合频繁变更、错误动作代价高（如涉及资金或权限变更）、对结果一致性要求严格的场景。此类场景应强化回退机制、动作前校验与人工审核。

主要风险：训练数据与线上分布不一致导致的决策漂移；长链路误差累积；回退机制失效导致错误动作被执行；Harness 层自身带来的额外复杂度与运维负担。

九、选型与使用建议

1. 先以纯大模型 Agent 为基线，量化常规决策在总调用中的占比，再评估分层方案的天花板；
2. 三层准确率必须同时评测，不能以 L1 指标替代线上任务成功率；
3. 置信度阈值应作为可调参数纳入灰度发布，持续监控回退率与成功率；
4. 为决策模型建立独立监控：决策分布、置信度分布、回退率、异常动作率；
5. 在错误代价高的动作前增加规则校验或人工确认，不把安全性完全寄托于模型置信度。

十、总结

“决策模型分担 Agent 常规决策”是一类值得关注的架构探索，其价值不仅在降本提速，更在于推动 Agent Harness 与模型训练方式的分层设计。评测这类方案时，应围绕功能覆盖、三层准确性、性能、稳定性、成本、可控性与可维护性建立框架，以纯大模型 Agent 为基线，结合业务可接受的成功率损失上限做条件化判断。它并非普适方案，其收益高度依赖任务域稳定性与常规决策占比，落地时应以回退机制与可观测性为前提。