在评测中使用自定义 Benchmark
更新时间:2026-11-20
简介
具身评测支持您在百舸平台上使用自定义 Benchmark 镜像开展模型评测。平台负责评测任务的资源调度、运行管理与结果展示,您只需提供符合平台接口约定的 Benchmark 镜像及启动命令,即可在平台上运行自有评测环境。
与平台预置 Benchmark 相比,自定义 Benchmark 方式更加灵活,不受平台已有评测集和任务配置的限制,适合使用自研仿真环境、自定义评测任务或需要验证特定模型能力的场景。
功能介绍
自定义 Benchmark 镜像运行
自定义 Benchmark 以容器镜像形式运行。平台根据您配置的镜像地址、启动命令及计算资源启动评测环境,并负责评测任务的运行管理。
Benchmark 镜像需按照平台接口约定,实现与模型推理服务的交互及评测结果输出。启动时需通过参数化方式配置服务地址与端口,避免在镜像中硬编码相关信息。
具体接口要求详见「自定义 Benchmark 说明」。
灵活配置评测资源
平台支持为每个自定义 Benchmark 独立配置运行资源与评测参数,包括:
- 运行镜像:支持填写镜像地址或从 CCR 仓库选择镜像,并配置启动命令与环境变量。
- 计算资源:支持配置加速芯片类型、卡数、CPU、内存及共享内存。
- 评测模式:支持同步与实时两种评测模式。
- 并行分片数:配置 Benchmark 的并行执行分片数量。
- Episodes per Task:配置每个评测任务的 Episode 执行次数。
您可以根据 Benchmark 的计算需求和评测规模调整资源与并发配置。
计费说明
自定义 Benchmark 方式下,计费对象为您在评测任务中实际申请的平台资源:
- 调度节点资源
- Benchmark 仿真运行资源
- 关联的存储挂载
- 推理服务节点资源(使用平台托管推理资源时)
具体费用根据实际资源配置及使用情况计算。
权限说明
- 需要具备百舸模型评测功能的使用权限,以及目标资源池、队列与存储挂载的使用权限。
- 使用自定义 Benchmark 镜像时,需具备对应镜像仓库的拉取权限。使用私有镜像仓库时,需配置相应的访问凭证。
- 评测过程中产生的结果文件等产物,如写入指定存储挂载,其访问权限继承该存储挂载的权限设置。
典型使用方式
- 准备 Benchmark 镜像:将自定义 Benchmark 环境及评测程序打包为容器镜像,按照平台接口约定完成适配,并准备对应启动命令。
- 新建评测任务:在模型评测中新建任务,配置模型来源、推理服务及所需运行资源。
- 配置自定义 Benchmark:在 Benchmark 配置中添加自定义 Benchmark,填写 Benchmark 名称、镜像地址、启动命令及环境变量,并配置计算资源、共享内存、评测模式、并行分片数与 Episodes per Task。
- 提交并查看结果:确认配置后提交评测任务。平台启动自定义 Benchmark 并执行评测,您可以在任务详情页查看运行状态、监控、日志与评测结果。具体可展示的结果及过程产物取决于 Benchmark 的接口适配与输出内容。
评价此篇文章
