导入数据
更新时间:2025-09-25
数据集管理提供存储类型为对象存储BOS和并行文件存储PFS(L2)数据集之间相互导入数据,通过数据导入功能可以方便的将数据进行导入导出。
限制条件
当前仅支持PFS L2与BOS之间进行互相转储
操作步骤
- 将需要导入数据的目录(目标数据集)和被导入目录(源数据集)分别创建为数据集,数据集创建完成后在数据集列表中找到对应数据集,在操作列选择【导入数据】
- 在创建转储任务弹窗内选择源数据集及版本等信息。
例如将数据集B(BOS类型)的v1版本(存储路径/dataset/test)数据导入到数据集A(PFS类型)的v1版本(存储路径/dataset/test/v1),则在数据集A操作【数据导入】
参数 | 说明 |
---|---|
任务名称 | 转储任务的名称,字母、数字、下划线_、中划线-,以字母开头,1~128个字符 |
源数据集 | 要导入的数据集,可选择当前用户有读权限的数据集 |
源数据版本 | 源数据集的数据版本,每个版本对应一个存储路径 |
冲突策略 | 覆盖该文件:保留源数据集中的文件 跳过该文件:不导入该文件 保留两者:在目标数据集中同时保存两个同名数据文件 |
目标数据集 | 当前操作的数据集 |
目标数据版本 | 导入数据存储的版本,每个版本对应一个存储路径 |
- 提交转储任务,在数据集详情的转储任务Tab页可以查看转储任务记录及状态。
使用导入的数据
在分布式训练任务、在线服务部署、开发机中直接使用数据集或直接挂载数据集对应的存储路径。