数据集管理API 本文档主要说明当您线下已有大量的已经完成标注的图片数据,如何通过调用API完成图片及标注的便捷上传和管理。 EasyDL图像数据集管理API在管理不同模型数据类型之间是通用的。上传不同模型类型数据,只是在部分接口入参存在差异,使用及接口地址完全一致。 数据集创建API 接口描述 该接口可用于创建数据集。
管理数据集版本 目录 新增版本 删除版本 查看全部版本 在平台构建通用数据集后,您还可为其新增若个版本,以方便后续数据洞察/清洗/增强等操作。 数据集版本按V1、V2的递增规则来默认指定。 登录到 千帆ModelBuilder操作台 ,在左侧功能列选择 通用数据集 ,进入数据集管理主任务界面。 新增版本 在通用数据集列表,选择指定数据集的“更多 > 新增版本”,可发起版本新增操作,如下图所示。
发起数据集版本导出任务 接口描述 本接口用于对特定数据集版本发起数据导出任务。 权限说明 调用本文API,需符合以下权限要求,权限介绍及分配,请查看 角色与权限控制列表 、 账号创建与权限分配 。
删除数据集 接口描述 删除数据集,同时删除所有版本。 权限说明 鉴权认证机制的详细内容请参见 鉴权认证 。 请求结构 Bash 复制 1 POST ?
上传数据集 上传视频分类数据集 已标注数据上传 目前支持本地导入、BOS目录导入、分享链接导入、平台已有数据集导入,4种导入方式。 支持的标注格式有文件夹命名分类和json平台通用两种。
登录/注册 个人中心 消息中心 退出登录 1 花费76.42利用预置数据集对【对话引擎方案】复现(包括SFT,发布,及预测) 大模型开发 / 技术交流 大模型实训营 2023.11.25 7691 看过 使用的是数据集管理中的预置数据集: FinCUGE_FinESE。 它是金融事件主体抽取数据集,该数据集包含11752条数据,验证集包含1464条数据。 该数据集的目的是从新闻预料中。
登录/注册 个人中心 消息中心 退出登录 1 花费76.42利用预置数据集对【对话引擎方案】复现(包括SFT,发布,及预测) 大模型开发 / 技术交流 大模型实训营 2023.11.25 7692 看过 使用的是数据集管理中的预置数据集: FinCUGE_FinESE。 它是金融事件主体抽取数据集,该数据集包含11752条数据,验证集包含1464条数据。 该数据集的目的是从新闻预料中。
上传数据集 上传目标跟踪数据集 已标注数据上传 基于CVAT标注好的数据以MOT1.1的数据集形式导出,上传数据压缩包: 压缩包仅支持zip格式,大小限制5GB以内 压缩包内单个视频长度限制在10分钟内,至少应上传4个视频标注压缩包 从CVAT导出的标注数据压缩包可多次上传一起导入数据集组。
创建表格数据集 在EasyDL经典版中,您可以在“数据总览”页面,完成数据集创建、数据导入等操作,为模型构建准备好数据。 创建数据集 数据集需要先定义,然后再导入数据。 单击“数据总览”,进入数据集列表页面。 单击“创建数据集”,进入数据集创建页面。 输入数据集名称,单击“完成”结束创建。 完成创建后,可以在数据集列表中查看新建的数据集。
Notebook导入数据集 BML基于Jupyter提供了在线的交互式开发环境,在此基础上也为用户提供了便捷导入数据集的方式。 通过平台导入 先点击数据总览,并点击创建数据集,将数据集上传到 BML 平台进行纳管。 进入Codelab Notebook,点击导入数据集插件,并选择从平台数据集的导入方式,选择已经在平台纳管的数据集进行导入。