数据集管理
数据集管理支持对数据集进行上传、存储、分享、下载等操作。数据集分为训练集和测试集,训练集用于AI模型训练,测试集用于AI模型的功能/性能评测。
数据集组
数据集组代表一类数据集的集合,每个数据集组下面支持创建多个数据集。例如,电动车入梯检测项目中,随着项目迭代,会持续产生训练集,用于优化算法精确度。此时可以创建电动车检测数据集组,在该数据集组下,分批次创建数据集,用于管理算法迭代过程中积累的训练集资产,也可创建测试集,用于算法评测。
登录智能视联网平台控制台,进入算子仓库-数据集管理页面,左侧展示数据集组列表,选中指定数据集组,右侧展示该组下的所有数据集列表。
新建数据集组
点击数据集组列表右上角加号,新增一行数据集组,输入数据集组名称,点击对号,完成新建。
- 创建完成后,列表展示数据集组名称以及数据集组ID。
- 数据集组名称限制在64字符以内。
删除数据集组
鼠标悬浮在指定数据集组,右侧展示删除按钮。点击删除,完成删除。
编辑数据集组
鼠标悬浮在指定数据集组,右侧展示编辑按钮。点击编辑,可以重新编辑数据集组名称。
数据集
选择指定数据集组,支持管理该数据集组下的所有数据集。
新建数据集
点击新建数据集
- 数据集名称:中文、数字、英文、空格、下划线(_)、短横线(-)和句点(.)七种格式,长度不能超过64个字符。
- 类型:支持创建训练集或测试集。
数据集列表
数据集ID:后台自动生成。 数据集名称:新建数据集时自定义。 类型:新建数据集时支持选择训练集或测试集。 数据总数:数据集中包含的图片数量。 状态:已完成/导入中,向数据集导入图片时,状态显示为导入中,此时不支持继续导入或导出;导入或新建完成后,状态显示为已完成。 创建时间:创建数据集的时间。
查看数据集
数据集列表-操作中查看详情支持查看数据集详细信息,包括数据集组信息、数据集信息以及数据集中包含的图片列表。
导入数据
数据集列表-操作中导入数据支持向数据集中导入图片,支持本地上传、云端拉取、数据回流三种方式。
本地上传
支持上传图片或压缩包。
图片上传
导入方式选择本地上传,文件类型选择图片。
-
点击选择文件,选择需要上传的图片,图片格式要求:
- 图片格式支持PNG、JPG、JPEG、BMP,单次上传限制50个文件
- 图片大小限制在10M以下,最长边需要小于4096px,最短边需要大于30px
- 每个数据集大小限制在5000张图片,如果需要提升额度,可以提交工单
- 对于不符合以上要求的图片,文件框中会用红色叹号标记,此类图片不会上传。
- 选择继续添加,可以继续选择其他需要添加的图片。
- 点击开始上传,所选图片开始上传,上传成功后,点击确定,完成导入。
压缩包上传
导入方式选择本地上传,文件类型选择压缩包。
- 点击选择文件。
- 等待上传完成。
- 上传完成后点击确定,完成导入。
云端拉取
支持将设备产生的云端截图直接导入到数据集。 导入方式选择云端拉取。
- 选择空间、设备、时间范围。
- 勾选图片,每次最多支持勾选30张;或全选,全选后,符合条件的所有图片都会被导入到数据集。
- 点击确定,完成导入。
数据回流
支持将设备产生的AI分析结果直接导入到数据集。 导入方式选择数据回流。
- 选择空间、设备、时间范围、算子。
- 勾选图片,每次最多支持勾选30张;或全选,全选后,符合条件的所有图片都会被导入到数据集。
- 点击确定,完成导入。
导出/分享
数据集列表-操作中导出/分享支持将智能视联网平台管理的数据集下载到本地,或以链接的形式分享给第三方,并由第三方下载。 点击导出/分享,后台启动导出任务,用户可以到导出记录中查看导出进度。
进入导出记录,展示近三天的导出记录,以及导出任务的状态。当导出状态变成文件已生成时,可以选择复制链接,第三方通过该链接进行下载;或选择直接下载到本地。
导出记录默认保存三天,删除导出记录后,需要重新导出才能下载或分享。
删除数据集
数据集列表-操作中删除支持删除数据集,删除后,数据集中包含的所有图片都会被同步删除,且无法恢复。