为什么会有分级存储 为什么会有分级存储? 不同类型数据的使用方式、访问频率均有不同,同时数据也存在老化曲线。随着数据逐渐老化,其访问频率逐步降低,进入归档状态。分级存储是一种方法论,即将不同类别数据存放到不同存储类型,以降低总存储成本,同时满足服务要求。 BOS 针对不同存储场景,提供了标准存储-多AZ、标准存储、低频存储-多AZ、低频存储、冷存储和归档存储共 6 种存储类型。
HDFS 为海量数据提供了可靠的存储性能,已成为 Hadoop 生态中最重要的一部分。数据量的与日俱增使原生的 Hadoop 面临一些新的问题,HDFS 自建及运维成本非常高,同时本地 HDFS 上海量数据如何存放也是企业面临的巨大挑战。因此,在企业数据上云的趋势下,越来越多的企业选择将数据存储在云端,即存储在对象存储服务当中。
HDFS 为海量数据提供了可靠的存储性能,已成为 Hadoop 生态中最重要的一部分。数据量的与日俱增使原生的 Hadoop 面临一些新的问题,HDFS自建及运维成本非常高,同时本地 HDFS 上海量数据如何存放也是企业面临的巨大挑战。因此,在企业数据上云的趋势下,越来越多的企业选择将数据存储在云端,即存储在对象存储服务当中。
目前支持对标准存储、低频存储、冷存储、归档存储类型的object文件设置软链接。软链接文件本身不支持ARCHIVE类型。如果用户指定ARCHIVE类型,或者不指定类型且Bucket默认存储类型是ARCHIVE时,返回报错CODE_INVALID_ARGUMENT。 调用该接口创建软链接时,不会检查目标文件是否存在、以及是否有权限访问目标文件。
使用CDS CMD工具操作磁盘 使用CMD工具操作磁盘 用户可以通过cdscmd命令来执行一些CDS磁盘相关操作,目前支持功能如下 CMD使用多层命令结构,所有的命令以 cdscmd 开头, [options] 表示CDS CMD支持的功能选项。 $ cdscmd [options] $ # 示例 $ ./cdscmd resize 参数解释 参数项 取值 说明 options 当前支持 resz
否 x-bce-storage-class String 指定Object的存储类型, STANDARD_IA 代表低频存储, COLD 代表冷存储, ARCHIVE 代表归档存储,不指定时默认是标准存储类型;如果是多AZ类型bucket, MAZ_STANDARD_IA 代表多AZ低频存储,不指定时默认是 MAZ_STANDARD 多AZ标准存储类型,不能是其它取值 否 x-bce-acl String
否 x-bce-storage-class String 指定Object的存储类型, STANDARD_IA 代表低频存储, COLD 代表冷存储, ARCHIVE 代表归档存储,不指定时默认是标准存储类型;如果是多AZ类型bucket, MAZ_STANDARD_IA 代表多AZ低频存储,不指定时默认是 MAZ_STANDARD 多AZ标准存储类型,不能是其它取值。
rclone 概述 rclone是一个管理云存储上文件的命令行程序,也是云供应商web存储接口的一个功能丰富的替代方案。超过70种云存储产品支持rclone,包括百度智能云对象存储(BOS)、企业和消费者文件存储服务以及标准传输协议。rclone在Linux、Windows和Mac上广泛使用,第三方开发人员可以使用rclone命令行或API创建备份、恢复、和业务流程解决方案。
列举存储桶 接口说明 本接口列举了请求者拥有的所有bucket 注意 如果请求中没有用户验证信息(即匿名访问),返回 403 Forbidden ,错误信息: AccessDenied 。 JSON请求响应项的命名规则是首字母小写的驼峰格式。 一次请求最多返回100个bucket的信息。
列举存储桶 接口说明 本接口列举了请求者拥有的所有bucket 注意 如果请求中没有用户验证信息(即匿名访问),返回 403 Forbidden ,错误信息: AccessDenied 。 JSON请求响应项的命名规则是首字母小写的驼峰格式。 一次请求最多返回100个bucket的信息。