查询评测集的默认配置
更新时间：2026-11-04
接口描述
查询一个模型在各评测集、子集上的默认配置。每个 (modelName, name, subBench) 组合返回一项，defaultBenchmarkConfig 可以直接作为创建请求 benchmarkConfigs 的一项。
权限说明
具备百舸（AIHC）的任一权限即可。
请求结构
Plain Text
1GET /?action=DescribeEmbodiedEvalBenchmarks&modelName={modelName}&benchmarkName={benchmarkName}&subBench={subBench}&source={source}
2Host: aihc.bj.baidubce.com
3Authorization: {authorization}
4version: v2请求头域
除公共头域外，无其它特殊头域。
请求参数
| 参数名称 | 类型 | 是否必须 | 参数位置 | 说明 |
|---|---|---|---|---|
modelName |
String | 是 | Query参数 | 模型名称 |
benchmarkName |
String | 否 | Query参数 | 评测集名称，不传时返回该模型的全部评测集 |
subBench |
String | 否 | Query参数 | 子集名称，不传时返回评测集的全部子集 |
source |
String | 否 | Query参数 | 同 DescribeEmbodiedEvalModels，默认 public。用自己的权重或镜像时传 custom |
响应头域
除公共头域外，无其它特殊头域。
响应参数
| 参数名称 | 类型 | 说明 |
|---|---|---|
requestId |
String | 请求 ID |
benchmarks |
BenchmarkMetadata[] | 每个组合的默认配置 |
请求示例
Bash
1python3 call_eval.py GET DescribeEmbodiedEvalBenchmarks modelName=openvla_7b benchmarkName=libero subBench=libero_spatial响应示例
JSON
1{
2 "requestId": "a2b3c4d5-e6f7-4089-b2ad-1e2f3a4b5c6d",
3 "benchmarks": [
4 {
5 "modelName": "openvla_7b",
6 "name": "libero",
7 "subBench": "libero_spatial",
8 "minHardware": {
9 "acceleratorTypes": ["baidu.com/l20_cgpu", "baidu.com/rtx_4090_cgpu", "baidu.com/a10_24g_cgpu", "baidu.com/a800_80g_cgpu"],
10 "acceleratorCount": 0,
11 "cpu": 8,
12 "memory": 16
13 },
14 "defaultBenchmarkConfig": {
15 "name": "libero",
16 "subBench": "libero_spatial",
17 "resources": [
18 {"name": "baidu.com/l20_cgpu", "quantity": 1},
19 {"name": "cpu", "quantity": 8},
20 {"name": "memory", "quantity": 32}
21 ],
22 "evalType": "sync",
23 "parallelShards": 1,
24 "episodesPerTask": 50,
25 "params": {"seed": 7, "num_steps_wait": 10, "absolute_action": false, "max_steps": null, "env_seed": null, "suite": "libero_spatial"},
26 "recordVideo": false,
27 "modelOverride": {
28 "ckptPath": "openvla/openvla-7b-finetuned-libero-spatial",
29 "chunkSize": 1,
30 "extraArgs": {"unnorm_key": "libero_spatial", "jpeg_roundtrip": true, "center_crop": true}
31 }
32 },
33 "paramsSchema": {
34 "requiredArgs": [],
35 "optionalArgs": ["seed", "num_steps_wait", "send_wrist_image", "send_state", "absolute_action", "max_steps", "env_seed"],
36 "properties": {
37 "seed": {"type": "integer", "default": 7, "description": "环境初始化随机种子"},
38 "max_steps": {"type": "integer", "default": null, "nullable": true, "description": "覆盖 suite 默认最大步数；null 时按子集默认值"}
39 }
40 },
41 "maxEpisodesPerTask": 50
42 }
43 ]
44}示例里的 paramsSchema.properties 只列出了两项。
注意事项
defaultBenchmarkConfig.resources中的卡型、episodesPerTask是推荐值，按需修改。episodesPerTask不能超过maxEpisodesPerTask（为 0 时不限）。minHardware.acceleratorCount为 0 表示该评测集可以不用 GPU（CPU 渲染），此时resources里可以不放 GPU。modelOverride.ckptPath、extraArgs是预置模型在该子集上的推荐权重和参数。用自己的权重时把ckptPath换成自己的路径。- 模型不存在返回 404；模型存在但按
benchmarkName、subBench过滤后没有组合时，返回空列表。
错误码
| HTTP 状态码 | code | 场景 |
|---|---|---|
| 400 | InvalidParameter |
没有传 modelName；source 取值不合法 |
| 404 | NotFound |
模型不存在 |
评价此篇文章