数据转储
更新时间:2024-12-27
数据集/模型在训练前需要转储到资源池挂载的PFS存储中,提交训练任务时候指定PFS存储路径进行训练。
前提条件
创建数据转储任务前,请确保您已成功创建资源池并且完成PFS存储的挂载。详情请参见创建资源池。
数据转储任务创建
- 登录百舸异构计算平台AIHC控制台。
- 在左侧菜单栏选择数据管理,进入数据管理页面,找到您想要转储的数据集数据集/模型,点击操作栏中的数据转储按钮。
- 配置数据转储任务
- 选择转储任务运行的资源池
- 确认转储的目标类型
- 选择需要转储的PFS实例
- 输入需要转储的路径
-
选择数据转储覆盖的逻辑
- 否(推荐,避免丢失已有数据):如果该路径上已经存在数据,则转储任务失败,如果该路径上没有数据,则完成数据转储
- 是:如果该路径上已经存在数据,则转储任务会先删除数据,然后完成数据转储
- 确认参数,然后单击确定,即可完成数据转储任务创建。
数据转储任务查看
- 在左侧菜单栏选择数据管理,进入数据管理页面,找到您想要查看的数据集数据集/模型,单击数据集数据集/模型名称,选择任务列表,可以看到数据转储任务相关信息。
- 可以查看任务状态,任务开始时间和结束时间,以及任务转储的目标路径。
-
在任务执行中时,点击操作栏中的取消,可以取消转储任务。
- 提示:该操作会将任务目标转储路径中的数据删除,请谨慎操作