简介：本文面向开发者和技术负责人，说明如何为端云协同的端侧智能体模型设计可复现的评测方案。文章梳理功能、性能、稳定性、安全和成本等指标，给出测试环境记录、任务集划分与统计口径，并讲解如何核验厂商披露数据及判断结论的适用边界。读完可据此验证模型是否适合具体业务。
端侧模型正从问答工具转向执行单元。个人电脑、汽车和机器人等设备的算力与内存有限，模型需要在这些约束下理解任务、拆解步骤并调用本地工具。评测这类模型时，不能只看一个总分，而要回答三个问题：它能完成哪些任务，在哪种硬件和配置下完成，失败时是否可控。
本文面向开发者、架构师、运维人员和技术负责人。读完后，你可以为自己的业务设计验证方案，并判断某个模型是否适合承接特定任务。本文不评价任何具体产品的优劣。
文中引用的厂商数据，例如某国内AI企业披露的4B级端侧模型在智能体任务上的完成率“41.9%以上”，以及某开源模型社区的累计下载量“超过400万次”，都来自厂商公开资料。原文没有给出厂商名称、披露时间和测试条件，也没有独立复核。这些数字只能作为线索，不能作为结论依据。
端云协同指任务在本地设备和云端之间分工。涉及个人隐私、企业内部资料或科研数据的任务，优先在本地处理。需要更强算力的复杂任务，交给云端模型。路由策略因此是评测的一部分，需要单独验证。
端侧智能体指模型接收任务后规划步骤、调用本地工具（如文件读写、表格处理、信息检索、代码修改）并返回结果。评测对象实际是一个组合系统，包括：
同一模型在不同推理引擎或量化精度下，表现可能差异明显。报告必须记录完整配置，否则结果无法复现，也无法和他人比较。
训练方式也会改变模型能力。例如，云端教师模型指导端侧模型学习任务拆解和工具使用，这类训练会提升特定任务的表现。评测时应同时测试基座模型和训练后模型。没有基线，就无法判断提升来自训练，还是来自任务集中的偶然特征。基线可以是基座模型、上一版本模型或规则方法。
评测围绕四个问题展开：
每个问题都要对应可观测指标和通过条件。下表列出建议的维度，实际选用可按业务裁剪。
| 维度 | 关注问题 | 核心指标 | 验证方式 |
|---|---|---|---|
| 功能与准确性 | 能否覆盖任务，结果是否满足验收条件 | 任务完成率、子任务成功率 | 标准答案比对、单元测试 |
| 性能 | 响应速度与资源消耗 | 首字延迟、端到端耗时、峰值内存、功耗 | 固定负载压测 |
| 稳定性 | 长时运行与异常下的表现 | 失败率、内存增长趋势、恢复时间 | 长时循环、故障注入 |
| 安全性 | 数据是否外发，权限是否受控 | 外部请求次数、越权调用次数 | 网络监控、权限白名单测试 |
| 兼容性 | 与现有工具和文件格式的适配 | 格式解析成功率、接口调用成功率 | 多格式样本回归 |
| 可观测性与可维护性 | 能否定位问题，升级成本多高 | 日志完整度、工具调用可追溯性、回归耗时 | 注入错误后检查日志，版本升级演练 |
| 成本结构 | 本地与云端的综合开销 | 单任务成本、人力工时 | 按实际计价测算 |
先为每类任务写清输入、期望输出和验收条件。验收条件应尽量客观，例如输出文件存在且格式正确，表格计算结果与标准答案一致，代码修改后通过预设的单元测试。主观评分容易引入偏差，只能作为补充。
统计口径需要提前约定：
交互场景关注首字延迟和输出速度，它们决定用户的等待感受。批量场景关注单位时间处理的任务数。两类场景的优化方向不同，应分别测量。
资源消耗包括峰值内存、显存或加速单元占用、CPU负载和功耗。端侧设备常因温度升高而降频，因此要记录设备温度，并在连续运行后再次测量，观察性能衰减。
测量前先预热。每个任务重复多次，报告中位数和P95。单次结果容易因缓存、调度和温度波动产生误判。冷启动耗时和预热后耗时应分开报告。
长时测试以固定间隔循环执行任务集，记录失败率和内存变化。内存持续上升，可能意味着缓存或上下文没有释放。
故障注入包括工具返回错误、文件不存在、输入编码异常、超长输入和工具超时。每种故障都要检查两点：系统是否给出明确的错误信息，以及能否在限定时间内恢复。
安全测试要回答两个问题：数据有没有离开本地，模型能否越权调用工具。建议按以下用例设计，并使用脱敏样本：