具身评测自定义评测集镜像接口说明
更新时间:2026-11-19
镜像启动后作为评测集端运行:平台为每个分片(shard)执行一次启动命令,由它连接模型服务、驱动仿真并写出结果。镜像需满足下列要求,您可以下载 skill 通过本地 Agent 帮您调整镜像。
接入流程
- 准备一台百舸开发机,确认原评测代码能在上面手工跑通。
- 用 skill 改造开发机,并在开发机上完成冒烟与自检。Skill 结束时会给出控制台要填的值和建议资源。
- 在控制台将开发机「保存为镜像」。
- 创建评测任务,评测集类型选「自定义镜像」,按下文「控制台填写」填入镜像和启动命令。
接入前提
- 镜像必须能加入 Ray 集群:PATH 上第一个
ray为ray[default]==2.49.2 + Python 3.13.12。基于平台 base 镜像创建的开发机已满足。不满足时节点加不进集群,等待 600 秒后任务失败。 - 评测环境另起一套:
Python ≥ 3.11,安装vla-eval-harness 0.9.0,与 Ray 环境互不安装对方的依赖。 - 运行时不保证有外网:仿真资产、权重要存在镜像内,或通过bos挂载。
- 同一 Pod 内会并发运行多个 shard,不监听固定端口。
- 完成判据:启动命令退出码为 0。
镜像内容
Skill 会在镜像里生成两个文件:
/opt/bench/start.sh:启动本 shard 的评测,平台参数已全部接好,无需修改。/opt/bench/eval.yaml:评测集配置,只写一个评测集。
eval.yaml 示例:
YAML
1server:
2 timeout: ${oc.env:EVAL_BA_SERVER_TIMEOUT}
3benchmarks:
4 - benchmark: "mybench.benchmark:MyBenchmark"
5 max_steps: 400
6 params: {seed: 7}
其中三项需要您确认,Skill 会附上取值出处:
benchmark:评测集入口。评测集不是 vla-eval-harness 内置的,Skill 会照原评测代码写一个适配器。max_steps:单个 episode 的步数上限,取原评测的设置。各子集上限不同时,一个镜像只接一个子集。params:评测集参数,如 seed、子集。评测参数只写在这里,控制台的params留空。
评测结果需满足:
- 每个 episode 的成功判定取自原评测代码,不自行定义。
- 子集或任务名不存在时报错退出,不能回落到默认值。
- 仿真崩溃、资产缺失时报错,不能记为任务失败。否则会得到一个看似正常的低分。
控制台填写
| 字段 | 填写 |
|---|---|
| 镜像地址 | 保存开发机时生成的镜像地址,私有仓库同时填用户名和密码 |
| 启动命令 | bash /opt/bench/start.sh |
| 环境变量 | 评测需要的自定义变量,没有可不填。不能填EVAL_BA_ 开头的变量、代理变量和 CUDA_VISIBLE_DEVICES 等平台变量,否则创建失败 |
| 允许 0 卡 | 评测集支持 CPU 软渲染时才勾选 |
| 并行 shard 数(N) | 不超过总 episode 数,多出的 shard 分不到 episode 会判失败 |
| 资源 | 按整个 Pod 填写:CPU ≥ 2 × N;内存 ≥ 单 shard 峰值 × N;共享内存缺省 10 GB,不够时按单 shard 峰值 × N 填写;多卡时 N 须是卡数的整数倍 |
单 shard 峰值以 Skill 冒烟实测为准。平台不校验内存和显存,填小了会在运行中 OOM。
时序与超时
- 流程:模型服务就绪后,平台在同一 Pod 内并发启动 N 个 shard;全部 shard 退出后合并结果。
- 单帧等待模型应答默认超时 30 秒。shard 启动后 3600 秒没有进度、或进度连续 10800 秒不推进,判该 shard 失败。
- 退出码为 0 但全部 episode 报错,同样判失败。部分 shard 失败时合并其余结果,标记为部分成功。
- 跑满
max_steps仍未成功的 episode 记为超时。
评价此篇文章
