目录

1. 什么是推理结果集
2. 创建推理结果集
3. 创建方式为发起模型推理
4. 创建方式为导入推理结果集

什么是推理结果集

推理结果集是对生成式大模型的推理结果信息进行一站式管理，涵盖模型批量推理或离线样本文件导入场景。

千帆平台对推理结果集的使用方法如下图所示：

首先需要创建推理结果集合，然后是发起模型评估，最后获取评估报告的整体流程。

创建推理结果集

登录到千帆大模型操作台，在左侧功能列选择推理结果集，进入数据集管理主任务界面，选择创建推理结集。

需要您按照以下内容所示，完善推理数据集的导入信息。

创建方式为发起模型推理

需要您指定预置入模型或我的模型完成推理，并保存数据集。

保存位置为对象存储BOS

对象存储BOS：使用对象存储BOS，享受更大存储空间，数据高效灵活管理。 平台共享存储：平台提供一定免费额度的共享存储空间。

• 若暂未开通，请先开通百度BOS服务。
• 系统将会在您选择的目录下创建 system 用以存储数据，请不要对该目录及目录下的所有文件进行修改，以免导致数据出现问题。

开通建设BOS完成后，需要指定保存目的BOS的Bucket地址和文件夹地址。

• 数据来源：模型将基于您指定的数据集生成对应的推理结果集，此数据集限具备prompt字段文本数据集。
• 推理模型：限可用于模型评估的模型，基础模型范围可见支持范围。

保存位置为平台共享存储

平台共享存储：平台提供一定免费额度的共享存储空间。

• 数据来源：模型将基于您指定的数据集生成对应的推理结果集，此数据集限具备prompt字段文本数据集。
• 推理模型：限可用于模型评估的模型，基础模型范围可见支持范围。

创建方式为导入推理结果集

需要您指定既定模型模型推理的结果数据集，直接导入到结果集。

保存位置为对象存储BOS

对象存储BOS：使用对象存储BOS，享受更大存储空间，数据高效灵活管理。 平台共享存储：平台提供一定免费额度的共享存储空间。

• 若暂未开通，请先开通百度BOS服务。
• 系统将会在您选择的目录下创建 system 用以存储数据，请不要对该目录及目录下的所有文件进行修改，以免导致数据出现问题。

开通建设BOS完成后，需要指定保存目的BOS的Bucket地址和文件夹地址。

• 推理模型：指定限可用于模型评估的模型，基础模型范围可见支持范围。
• 导入方式分为本地导入和BOS导入两种方式.本地导入，即为本地终端文本导入;BOS导入分为文件导入和目录导入，选择BOS文件导入需要选择上传到指定Bucket下的文件，选择BOS目录导入择需要指定Bucket下的文件夹地址。
• 上传文件示例(点击下载)：压缩包模板、jsonl模板、excel模板、csv模板。

以上动作完成，即导入推理结果集完成。