简介:本文围绕移动智能体评测的两类路线展开对比:确定性端到端可复现评测与基于模型裁判的开放式评测。读者可了解二者在架构、可复现性、覆盖范围、成本、运维与安全上的差异,并依据回归测试、能力基准、开放评估等场景做出条件化选型。
移动智能体的能力评估正在从“单轮问答”走向“长任务链、跨应用协同、真实用户场景”的复杂评测。原始材料描述的一类移动智能体评测基准,强调覆盖真实用户场景,包含较长任务链和跨应用协同操作;其代表性设计包括约200个任务、覆盖约20类应用、平均完成步数接近28步,且超过六成任务需要跨应用操作。同时,该方案明确摒弃易产生随机性的模型裁判模式,转而通过自托管应用、容器化移动运行环境、虚拟设备快照等技术,实现端到端、完全可复现的确定性评测,并开放代码、任务与评测环境。
本文对比的对象不是某个具体产品,而是移动智能体评测中的两类通用技术路线:
二者都服务于移动智能体能力评估,但技术逻辑、成本结构和适用边界差异明显。
第一,目标一致。两类方案都希望回答“移动智能体能否在真实或近似真实的任务中完成目标”,都关注任务定义、执行过程、结果判定和能力对比。
第二,都需要任务集与评分机制。方案A依赖任务脚本、环境快照和断言;方案B依赖任务描述、评分规则和模型裁判。二者都需要设计任务覆盖度、难度分层和评分口径。
第三,都面临真实性与可控性的权衡。越接近真实用户场景,环境越复杂、状态越多;越强调可复现,越需要约束环境、版本和输入。两类方案都无法完全消除移动智能体评测中的不确定性,只是控制点不同。
第四,都需要工程化支撑。包括执行调度、日志采集、结果存储、失败重试、权限隔离和版本管理。没有工程化支撑,任务集很难长期维护。
方案A的核心是“受控环境 + 固定状态 + 可观测执行”。它通常需要自托管应用、容器化移动运行环境、虚拟设备快照、依赖版本锁定、网络与权限隔离,以及执行轨迹记录。评测时从确定快照恢复环境,按任务脚本执行动作,最后通过断言判断任务是否完成。其架构边界清晰,环境是评测系统的一部分。
方案B的核心是“任务执行 + 模型评分”。智能体在某个环境中完成任务后,评分器读取结果或轨迹,按评分标准输出分数。它对运行环境的控制程度取决于前置执行环境,评分环节本身依赖模型推理服务。架构上更轻,但评分链路引入模型版本、提示模板、采样参数等变量。
方案A的最大优势是可复现。通过快照恢复、固定依赖、固定任务输入和断言评分,同一版本智能体在相同任务上的结果更容易比较。失败可回放,轨迹可审计,适合回归测试和版本门禁。
方案B的评分环节存在随机性。即使将采样温度设为零,模型裁判仍可能受提示措辞、上下文长度、模型版本、评分标准表述和结果呈现方式影响。不同批次评分可能漂移,跨时间比较需要校准集和一致性检查。因此,方案B更适合探索性评估,不宜单独作为强回归门禁。
方案A擅长评估长任务链、跨应用协同、状态一致性和明确可断言的目标。例如“从消息中提取信息并写入日程,再同步到待办”这类任务,可以通过最终状态和中间关键状态进行判断。其限制是任务构造成本高,对高度开放式、主观性强的结果评估不够灵活。
方案B擅长评估开放式结果和主观质量,例如回答是否清晰、计划是否合理、生成内容是否符合偏好。它可以用较少工程投入快速扩展任务,但评分标准难以完全形式化,复杂跨应用任务的中间状态也容易被忽略。
方案A接入时需要完成环境编排、任务脚本、断言设计、快照管理和日志采集。开发改造量较大,但一旦建成,回归测试价值高。方案B接入时主要需要提示模板、评分器、采样策略和聚合逻辑,初始接入轻,但后续评分校准成本不低。
方案A可通过并行执行、快照恢复和任务分片提升吞吐,但环境矩阵越多,资源占用和调度复杂度越高。扩展新应用或新系统版本时,需要维护环境镜像和快照兼容性。方案B扩展任务相对容易,但评分吞吐受模型推理服务配额和延迟影响,评分一致性随任务规模扩大而更难保证。
方案A的自托管环境有利于数据隔离、权限控制和审计。快照中可能包含用户数据,需要脱敏和访问控制。方案B需要将任务结果或轨迹发送给评分模型,存在数据外发和敏感信息暴露风险,需要脱敏、最小化和审计。
方案A的成本集中在任务设计、环境维护、快照管理、执行资源和失败排查,长期维护成本较高,但回归测试复用价值大。方案B的成本集中在评分提示工程、模型调用、校准集维护和人工抽检,初始成本低,长期存在评分漂移治理成本。
| 维度 | 方案A:确定性可复现评测 | 方案B:模型裁判开放式评测 |
|---|---|---|
| 技术架构 | 受控环境、快照恢复、断言评分 | 任务执行后由模型按规则评分 |
| 可复现性 | 较高,依赖环境与版本锁定 | 较低,受模型版本与提示影响 |
| 功能覆盖 | 长任务链、跨应用协同、状态断言 | 开放式结果、主观质量、快速扩展 |
| 接入复杂度 | 环境与任务工程量大 | 初始接入轻,评分校准量大 |
| 性能扩展 | 可并行但环境资源重 | 评分受推理服务配额影响 |
| 安全合规 | 数据隔离与审计可控 | 需关注结果外发与脱敏 |
| 运维成本 | 环境维护、快照兼容成本高 | 评分漂移与校准成本高 |
| 适用场景 | 回归测试、CI门禁、能力基准 | 早期探索、开放评估、主观质量 |
| 使用边界 | 不适合高度主观开放式结果 | 不适合强可复现门禁与审计场景 |
如果目标是版本回归、发布门禁、跨应用长任务评估和可复现对比,方案A更合适。它能把“智能体是否真的完成任务”转化为可检查的状态与断言,适合持续集成流程。
如果目标是早期能力探索、开放式任务评估、主观质量比较和快速扩展任务集,方案B更合适。它接入轻,但需要配合校准集、固定评分模板和人工抽检。
更稳妥的做法是混合使用:以方案A作为回归基线,覆盖关键跨应用长任务;以方案B作为补充,评估开放结果和用户体验质量。两者不是替代关系,而是不同控制强度下的互补关系。
选型时应先明确评测目的:是“可复现回归”还是“开放能力探索”。若需要稳定比较版本差异,应优先建设确定性环境、快照和断言;若任务高度开放,应接受一定随机性,并通过多次采样、评分校准和人工复核控制风险。
从模型裁判迁移到确定性评测,需要重写任务、设计断言、容器化运行环境、管理快照、脱敏数据和锁定依赖版本;从确定性评测迁移到模型裁判,需要把断言转为评分规则,建立校准集和一致性检查。迁移不是简单替换评分器,而是评测口径和工程链路的整体调整。
两类方案的核心差异来自“评分机制”和“运行环境控制程度”。方案A以环境受控和断言评分换取可复现性,适合回归与基准;方案B以模型评分换取开放性和接入效率,适合探索与主观质量评估。决策应基于评测目标、可复现要求、任务开放程度、运维能力和合规边界综合判断。