创建自定义推理服务的评测任务
更新时间:2026-11-18
简介
具身评测支持您在百舸平台上接入自行部署的推理服务参与模型评测。平台负责 Benchmark 仿真环境的调度、分片执行、结果合并与结果展示,您只需提供符合平台接口约定的推理服务地址,即可复用平台已有的评测集、任务配置、进度与结果分析能力。
与「预置公共模型」「自定义模型权重」「自定义推理镜像」相比,自定义推理服务方式无需将模型部署在百舸平台,您可以使用已有的推理服务及计算资源,适合已具备独立推理部署环境、希望自主控制推理资源或需要频繁迭代模型的场景。
功能介绍
接入外部推理服务
自定义推理服务由您自行部署并保持运行。评测期间,百舸平台作为客户端,通过您提供的服务地址建立连接,完成握手、下发观测、获取动作,并执行一个或多个 Episode 的评测。
推理服务需提供平台可访问的 WebSocket 地址(host:port 或 ws:// / wss:// 开头的 WebSocket 地址),并满足消息编码格式、握手与观测/动作消息结构、超时要求等接口约定。
服务的部署、运行维护、资源配置及可用性由您自行负责。评测期间需确保服务能够正常访问并及时响应推理请求,您可以参考自定义推理镜像文档配置您的推理服务。
Agent 辅助适配
平台提供配套 Agent Skill,可在本地协助您按照接口约定检查与调整推理服务,降低首次接入成本。
计费说明
自定义推理服务方式下,百舸平台不提供推理计算资源,计费对象为您在评测任务中实际使用的平台资源:
- 调度节点资源
- Benchmark 仿真运行资源
- 关联的存储挂载
自行部署的推理服务所产生的计算、网络及其他资源费用由您自行承担,不计入百舸评测任务费用。
权限说明
- 需要具备百舸模型评测功能的使用权限,以及目标资源池、队列与存储挂载的使用权限。
- 推理服务需具备可被百舸评测环境访问的网络地址,并满足平台的服务地址校验与连接要求。
- 评测视频、过程记录等产物写入指定存储路径,访问权限继承该存储挂载的权限设置。
典型使用方式
- 准备推理服务:在自有计算资源或其他云环境中部署符合平台接口约定的推理服务,确保服务正常运行并可被平台访问。
- 新建评测任务:在模型评测中新建任务,模型来源选择「自定义推理服务」,填写推理服务地址。

- 配置 Benchmark:按适配器限定的兼容范围添加 Benchmark 与 Task,配置评测模式、并行分片数、Episodes per Task 与运行资源;按需开启评测视频录制。
- 提交并查看结果:提交任务后,平台连接指定的推理服务并执行评测。在详情页查看进度、监控、日志、推理调用错误摘要与评测结果;开启视频录制时可在详情页预览 Episode 视频与推理过程记录。

评价此篇文章
