存储分析 操作场景 用于查看集群中的磁盘使用情况,可针对具体节点通过使用量排名、使用量大小以及使用量占比三个维度分析节点中磁盘的使用情况。 操作步骤 登录 消息服务 for Kafka控制台 进入集群列表页面。选择具体的集群单击集群名称,进入集群详情。 在左侧导航选择 存储分析 ,可以看到集群当前所有节点上的磁盘使用的相关信息。 单击某节点右侧的 分析按钮 可以查看该节点分析详情。
BOS 存储的挂载,基于 bosfs2.0 在训练任务中挂载 BOS 进入 分布式训练 页面,点击 创建任务 ,进入任务创建页面。 完成基础信息和环境信息配置后,在 资源配置 区域找到 存储挂载 配置项。 点击 添加存储挂载 ,配置 BOS 存储挂载: 参数名称 说明 存储类型 选择 BOS 。 BOS 存储桶 选择需要挂载的 BOS 存储桶。
在开发机中使用对象存储BOS 本文旨在帮助您熟悉对象存储BOS在开发机中的使用。
设置Bucket的默认存储类型 接口说明 本接口用来设置Bucket的默认存储类型。 如果用户使用API、CLI或者SDK上传的Object未指定存储类型,则继承Bucket的默认存储类型。如果上传Object指定的存储类型和Bucket默认存储类型不一致时,以Object的存储类型为准。存储类型包含标准存储、低频存储、冷存储和归档存储四种,具体使用场景和性能请参见 分级存储 。
标准存储返回STANDARD,低频存储返回STANDARD_IA,冷存储返回COLD,归档存储返回ARCHIVE。 COLD 请求示例 JSON 复制 1 GET /v 1 /bucketName_example/?
的类型 content_length Object的大小 content_md5 Object的MD5 etag Object的HTTP协议实体标签 storage_class Object的存储类型 user_meta 如果在PutObject指定了userMetadata自定义meta,则返回此项
低频存储返回STANDARD_IA,冷存储返回COLD,归档存储返回ARCHIVE,标准存储返回STANDARD。
变更存储策略 该接口用于变更集群磁盘存储策略。
参数/选项 含义 nohup 使命令在退出终端后继续运行,并将输出重定向到nohup.out文件或指定文件。 ./msrsync 执行当前目录下的msrsync脚本或程序。 -P 显示msrsync命令的进度。 -p 128 设置并行进程数为 128。 --stats 统计并显示文件传输的详细信息。 -b ~/tmp 用于存储每个 rsync 同步的文件列表。
新建权限组 存储网关(Baidu Storage Gateway,BSG)支持通过控制台设置权限组和权限组策略。 操作步骤 1. 登录 存储网关控制台 。 2.在左侧导航中,选择权限组 。页面上方点击“新建权限组”。 3.设置权限组 。 设置权限组基本信息 : 权限组名称:请输入权限组名称。 选择共享文件目标类型:您需要选择共享文件目标的类型为 NFS 或者 SMB。