目录

1. 什么是推理结果集
2. 创建推理结果集
3. 通过发起模型推理来创建
4. 通过导入推理结果集来创建

什么是推理结果集

推理结果集以数据集形态来纳管大模型的推理结果信息，整体使用流程如下图所示。

您可通过以下两种方式来创建推理结果集：

• 发起模型批量推理任务
• 上传已包含模型推理信息的样本文件

推理结果集包含了实际的模型推理回答，对于该类数据集的使用，大模型实践中往往有以下两类场景：

• 场景一：模型A为旗舰模型（例如 ERNIE 4.0），其推理回答质量较高，因此可将模型A的推理结果集作为原始训练集，并通过数据洞察/处理来为训练集二次提质，最终来对效率和成本更占优势的轻量模型B（例如ERNIE Speed）进行精调，该过程也被称为“模型蒸馏”。
• 场景二：基于推理结果集的模型实际推理回答及参考回答，发起人工或自动的模型评估任务，产出该模型的综合评估报告，指导模型应用与迭代。

创建推理结果集

登录到千帆ModelBuilder操作台，在左侧功能列选择推理结果集，进入推理结果集管理界面，并点击创建推理结果集，如下图所示。

你可通过发起模型批量推理或导入推理结果集文件两种方式来创建推理结果集。

通过发起模型推理来创建

您可指定预置模型或我的模型来发起模型批量推理，并保存为推理结果集。

• 数据来源：模型将基于您指定的通用数据集生成对应的推理结果集，此数据集限具备prompt字段的文本生成数据集。
• 推理模型：限可用于模型评估的模型，基础模型范围可见支持范围，计费内容可查看计费文档。

此外，对应的批量推理任务也会呈现在平台的批量推理任务列表中，您可在此跟踪对应的推理任务详情。

保存位置为对象存储BOS

对象存储BOS：使用对象存储BOS，享受更大存储空间，数据高效灵活管理。 若暂未开通，请先开通对象存储BOS服务。

若对象存储BOS服务已开通，您需要进一步指定对应的Bucket和目录。

• 平台将会在您选择的目录下创建 system 子目录用以存储数据，请不要对此目录及其内部文件进行修改，以免数据出现问题。

保存位置为平台共享存储

平台共享存储：平台提供一定免费额度的共享存储空间。

高级配置

通过发起模型推理来创建推理结果集时，平台支持进一步配置批量推理的高级参数，如下图所示。

其中，高级参数定义如下：

• 温度：temperature，较高的数值会使输出更加随机，而较低的数值会使其更加集中和确定。建议该参数和top_p只设置1个。
• 多样性：top_p，影响输出文本的多样性，取值越大，生成文本的多样性越强。建议该参数和temperature只设置1个。
• 重复惩罚：penalty_score，用通过对已生成的token增加惩罚，减少重复生成的现象。说明：值越大表示惩罚越大。
• 采样：Top-K，采样参数，在每轮token生成时，保留k个概率最高的token作为候选。影响输出文本的多样性，取值越大，生成文本的多样性越强。

• Prompt模板：附加指定批量推理所使用的Prompt模板内容。需注意，模板长度不可超过模型输入的长度限制。

  发起模型推理时，将按照批量推理计费，具体可查看计费示例，其他模型限时免费。

通过导入推理结果集来创建

您可准备已包含推理结果信息的样本文件，直接导入平台，从而创建推理结果集。

数据格式说明

# 'system' 为选填字段，代表系统角色设定信息

# 'response' 代表 'prompt' 的模型回答，为必需字段。若该字段缺失，对应的推理结果样本将无法导入成功

# 'reference_response' 代表 'prompt' 的参考回答，自动模型评估场景为必需字段，人工模型评估场景为可选字段

以下为推理结果集的单轮对话JSONL样例展示：

{"system": "你是一名新闻行业从业者", "prompt": "请根据下面的新闻生成摘要, 内容如下:新华社受权于18日全文播发修改后的《中华人民共和国立法法》，修改后的立法法分为“总则”“法律”“行政法规”“地方性法规、自治条例和单行条例、规章”“适用与备案审查”“附则”等6章，共计105条。生成摘要如下:", "response": "修改后的立法法全文公布。", "reference_response": "新华社受权发布修改后的立法法。"}

以下为推理结果集的多轮对话JSONL样例展示：

[{"system": "你是一个旅游规划小助手，可以帮助游客们做攻略", "prompt": "介绍一下北京吧", "response": "北京，简称“京”，古称燕京、北平，中华民族的发祥地之一，是中华人民共和国首都、直辖市、国家中心城市、超大城市，也是国务院批复确定的中国政治中心、文化中心、国际交往中心、科技创新中心，中国历史文化名城和古都之一，世界一线城市。"}, {"prompt": "我在上海，周末可以去哪里玩？", "response": "上海是一个充满活力和文化氛围的城市，有很多适合周末游玩的地方。以下是几个值得推荐的地方：\n\n上海迪士尼乐园：上海迪士尼乐园是世界上最大的迪士尼主题公园之一，有许多精彩的游乐项目和演出，可以让您尽情享受娱乐和欢乐。\n上海野生动物园：上海野生动物园是一个以自然保护为主题的野生动物园，有许多珍稀动物和植物，可以让您近距离接触大自然。\n\n这些地方都是上海周末游玩的好去处，可以根据自己的兴趣和需求选择合适的行程。", "reference_response": "上海是一个充满活力和多元文化的城市，周末有很多好玩的地方可以选择，以下是一些推荐：外滩、东方明珠塔、豫园、上海博物馆、南京路步行街。"}]

平台也支持您上传csv文件或xlsx文件来创建推理结果集。

此外，您还可将包含推理模型配置信息的文件 model_config.json 与上述数据样本文件进行打包压缩上传，详见压缩包模板。

保存位置为对象存储BOS

对象存储BOS：使用对象存储BOS，享受更大存储空间，数据高效灵活管理。 平台共享存储：平台提供一定免费额度的共享存储空间。

• 若暂未开通，请先开通对象存储BOS服务。
• 平台将会在您选择的目录下创建 system 子目录用以存储数据，请不要对此目录及其内部文件进行修改，以免数据出现问题。

若对象存储BOS已开通，您需要指定对应的Bucket和目录。

• 推理模型：指定该结果集所属的推理模型，平台纳管模型（预置模型和我的模型）范围可见支持范围，计费内容可查看计费文档，另外也支持配置非平台模型作为推理模型，需要您填写推理模型名称，从而为推理结果集和模型评估绑定推理模型信息。

• 导入方式分为本地导入和BOS导入两种方式：

  • 本地导入，即为本地存储文件导入
  • BOS导入分为文件导入和目录导入，选择BOS文件导入需要选择上传到指定Bucket下的文件，选择BOS目录导入则需要指定Bucket下的文件夹地址

保存位置为平台共享存储

• 推理模型：指定该结果集所属的推理模型，平台纳管模型（预置模型和我的模型）范围可见支持范围，计费内容可查看计费文档，另外也支持配置非平台模型作为推理模型，需要您填写推理模型名称，从而为推理结果集和模型评估绑定推理模型信息。

• 导入方式分为本地导入和BOS导入两种方式。

  • 本地导入，即为本地终端文本导入
  • BOS导入分为文件导入和目录导入，选择BOS文件导入需要选择上传到指定Bucket下的文件，选择BOS目录导入则需要指定Bucket下的文件夹地址。

通过以上操作，即可创建推理结果集。