前提条件

• 拥有可用于评测的资源队列操作权限，且队列拥有符合要求的显卡支持。
• 模型：您可以试用百舸预置好的开源模型验证评测效果，也可以使用您存在百度云存储上的权重进行验证。
• 目前仅支持部分 vla 及 benchmark 评测服务，后续会逐渐拓展不同模型支持及自定义 benchmark 评测功能。

操作步骤

创建评测任务入口

在百舸控制台左边栏 - 【大规模训练与推理】标签下，您可以看到模型评测按钮，点击【创建模型评测任务】后即可新建评测任务

基础配置

首先，您可以配置任务基本信息并选择您需要使用的资源池，在此您需要填入或配置：

• 任务名称
• 可见范围
• 资源池类型
• 队列
• 优先级

• 并根据您选择的资源池&队列可以选择您的存储配置

  • 注意：如果您首次使用该功能，系统会为您创建一个 bos 存储桶来持久存储您的评测结果。

配置模型推理服务

然后您可以配置您的模型推理服务，您可以在此选择：

• 模型来源：

  • 预置公共模型：这里是百舸公共的预置模型权重
  • 自定义模型：您可以通过配置权重路径来让评测服务读取您的自定义模型（基于已适配基座模型微调权重）
• Chunk Size
• Batch Size
• 推理服务资源配置
• 并行配置

配置 Benchmark

您可以在Benchmark 配置中选择并配置您的评测集：

• 选择您的 benchmark
• 选择评测套件/task
• 为 benchmark 服务器选择配置
• 评测模式
• 并行分片数
• 每任务评测次数
• 以及针对不同 benchmark 的高级配置

确认资源

上述配置选择完毕后，在提交前您可以二次确认本次任务的总资源占用数

提交评测

待点击页面下方提交按钮即可开始评测任务