简介

具身评测支持您在百舸平台上使用自定义镜像参与模型评测。平台负责 Benchmark 仿真环境的调度、分片执行、结果合并与结果展示，您只需提供符合平台接口约定的推理镜像或推理服务，即可复用平台已有的评测集、任务配置、进度与结果分析能力。

与「预置公共模型」「自定义模型权重」相比，自定义镜像方式更加灵活，不要求模型框架与平台预置框架完全一致，只需要满足接口规则即可，适合已有自研推理实现、需要频繁迭代模型的场景。

功能介绍

镜像作为推理服务端运行

自定义镜像启动后在评测任务中承担模型推理服务端角色。平台在评测运行期间作为客户端，向镜像内的服务发起握手、下发观测、获取动作，并完成一个或多个 Episode 的评测。

镜像需满足的接口约定包括监听地址与端口、就绪探活、消息编码格式、握手与观测/动作消息结构、以及超时要求，详见具身评测自定义推理镜像接口说明。

Agent 辅助适配

平台提供配套 Agent Skill，可在本地协助您按接口约定检查与调整自定义镜像，降低首次接入成本。

计费说明

自定义推理镜像方式下，计费对象为您在评测任务中实际申请的平台资源：

• 调度节点资源
• 推理服务节点资源
• Benchmark 仿真运行资源
• 关联的存储挂载

权限说明

• 需要具备百舸模型评测功能的使用权限，以及目标资源池、队列与存储挂载的使用权限。
• 使用自定义镜像时，需具备对应镜像仓库的拉取权限。
• 评测视频、过程记录等产物写入指定存储路径，访问权限继承该存储挂载的权限设置。

典型使用方式

1. 准备推理镜像：创建符合要求的推理镜像并准备好对应启动命令。
2. 新建评测任务：在模型评测中新建任务，模型来源选择「自定义推理镜像」，填写启动命令并配置相应环境变量。
3. 配置 Benchmark：按适配器限定的兼容范围添加 Benchmark 与 Task，配置评测模式、并行分片数、Episodes per Task 与运行资源；按需开启评测视频录制。
4. 提交并查看结果：提交任务后，在详情页查看进度、监控、日志、推理调用错误摘要与评测结果；开启视频录制时可在详情页预览 Episode 视频与推理过程记录。