名称 类型 描述 inferDatasetId string 推理结果集ID modelId string 产出推理结果集的模型版本ID
数据集-推理结果集页面 ,点击某个推理结果集详情,点击推理结果集信息页面查看,如下图所示: isBaseline bool 否 启用GSB时,表示基准对象;若开启,要求待评估对象的数量为2 evalModelConfig说明 评估模型对象的配置信息 名称 类型 必填 描述 versionId string 否 评估数据集版本的ID,说明: (1)当评估对象是模型或者服务的时候,即evalObjectType
string 推理结果集状态,说明 · pending:等待创建 · success: (1)如果选择已有推理结果集评估,返回success; (2)如果选择模型评估,代表新建的推理结果集记录创建成功 · failed:创建推理结果集记录失败 inferDatasetName string 推理结果集名称 inferDatasetStorageType string 推理结果集存储类型,说明: ·
查看结果集 选择操作列的“查看结果集”即可,在开通的BOS里查看到结果集的详细信息。 删除 运行成功/失败/已中止的批量推理任务都可以进行删除,一旦删除,不可恢复。运行中的任务不支持删除,您可以 取消运行 后再删除,中止后的任务不支持重启,请您结合自身需求操作。
节点启停 百度智能云 Elasticsearch 提供节点启停功能,支持用户通过控制台启停 Elasticsearch 集群的节点实例。 操作步骤 登录百度智能云 Elasticsearch 控制台。 在集群列表中,单击目标集群名称,进入集群详情页。 在集群详情页,集群实例里点击“节点实例”按钮,显示该集群的全部节点。 选中目标节点,执行开启或暂停操作。支持对单个节点进行启停操作,也支持对多个节点
WHERE:可以对结果列进行筛选,目前仅支持对以下列进行筛选: TableName:仅支持等值筛选。 State:仅支持等值筛选。 Createtime/FinishTime:支持 =,>=,<=,>,<,!= ORDER BY:可以对结果集按任意列进行排序。 LIMIT:配合 ORDER BY 进行翻页查询。
循环(foreach)节点 概述 foreach 节点用于遍历数据集,给数据集中的每个元素都执行一次定义好的子流程,类似编程语言中的 for 循环。数据集是一个 JSON 数组对象。 foreach 与其它节点一样,开始执行时仍会先根据 stateDataFilter 过滤输入数据,接下来会根据 inputCollection 参数,从过滤后的输入数据中取出或生成一个数据集。
通过对评估数据集的评估,可以了解模型在不同场景下的表现,从而更好地优化模型。同时,评估数据集还可以用来验证模型的泛化能力,即模型在未见过的数据上的表现如何。 创建自动评估任务 自动评估对⽣成式⼤模型的输出效果进⾏全⽅位评价,提供⾯向事实类或开放性问答的多种打分模式;当前⽀持⽂本类⽣成模型,暂不⽀持图像或跨模态⽣成模型。 登录到 本平台 ,在左侧功能列选择模型评估,进入 自动评估 主任务界面。
已完成人工评估的结果集 不支持任何编辑操作 。 查看评估报告 当评估任务状态为“已完成”时,您可点击操作列的“查看评估报告”按钮,查看详细的评估信息。
搜索维度 默认输入栏文案 搜索框头部hover提示 任务名称/ID 请输入任务名称/ID搜索 评估对象支持按照模型名称(包含BOS和非平台模型结果集)模糊搜索,按照模型版本ID、结果集ID精确搜索 评估对象 请输入评估对象搜索 支持按照任务名称模糊搜索、按任务ID精确搜索(任务状态为「编辑中」的任务不支持搜索) 基础模型版本 请输入基础模型版本搜索 支持按照基础模型版本名称模糊搜索(任务状态为「编辑中