数据上传
更新时间:2023-07-21
数据上传
百度智能云提供对象存储BOS服务,这是一个类似于百度网盘的存储空间,提供简单的客户端和CLI工具来进行使用。
对于GPU使用过程中需要用到的数据集,您可以先将他们统一上传到您的对象存储中,在需要用GPU作训练时,再将数据拉取到GPU云服务器的本地进行处理。
BOS设置
- 访问BOS产品页,点击立即购买登录控制台;
- 在Bucket管理页面点击新建Bucket,命名后选择所属地域(建议选择与GPU服务器相同的地域),并设置读写权限为私有;
- 创建完成后,在Bucket管理页面点击创建完成的Bucket名字进入Bucket,即可在web上查看和上传相关数据文件;
- 文件上传完成后,点文件名即可获取文件地址,在GPU服务器平台上直接通过wget方式获取。
BOS在GPU服务器上的使用功能方法
BOS CLI是BOS调用的命令行工具,以下介绍如何在GPU云服务器中使用BOS CLI工具。
- 从BOS CLI工具文档页获取linux下BOS CLI工具的压缩包。
-
解压CLI工具包:
$ unzip bce-cli-0.8.3.zip
-
将bcecli的库安装到系统的python目录下:
$ python setup.py install
-
使用BOS CLI工具之前,推荐先设置Access Key、Secure Key、Region;可以通过 -c/–configure 来设置AK、SK、Region,CLI会在配置后自动写入当前用户主目录;AK、SK可以从登录BOS控制台后,点击右上角按钮悬窗中Access Key链接获得。Region则应与BOS设置中,所属地域的选择一致,选择北京填bj,选择广州则填gz,后续选项均可以直接回车填默认值。
$ bce -c $ BOS Access Key ID [None]: Enter Your AK $ BOS Secret Access Key [None]: Enter Your SK $ Default region name [bj]: Enter Your region $ Default domain [bj.bcebos.com]: Enter Your host
-
以将GPU云服务器上的 text.txt文件上传至mybucket为例,上传命令如下:
$ bce bos cp text.txt bos:/mybucket/text.txt