HDFS 为海量数据提供了可靠的存储性能,已成为 Hadoop 生态中最重要的一部分。数据量的与日俱增使原生的 Hadoop 面临一些新的问题,HDFS自建及运维成本非常高,同时本地 HDFS 上海量数据如何存放也是企业面临的巨大挑战。因此,在企业数据上云的趋势下,越来越多的企业选择将数据存储在云端,即存储在对象存储服务当中。
HDFS 为海量数据提供了可靠的存储性能,已成为 Hadoop 生态中最重要的一部分。数据量的与日俱增使原生的 Hadoop 面临一些新的问题,HDFS 自建及运维成本非常高,同时本地 HDFS 上海量数据如何存放也是企业面临的巨大挑战。因此,在企业数据上云的趋势下,越来越多的企业选择将数据存储在云端,即存储在对象存储服务当中。
目前支持对标准存储、低频存储、冷存储、归档存储类型的object文件设置软链接。软链接文件本身不支持ARCHIVE类型。如果用户指定ARCHIVE类型,或者不指定类型且Bucket默认存储类型是ARCHIVE时,返回报错CODE_INVALID_ARGUMENT。 调用该接口创建软链接时,不会检查目标文件是否存在、以及是否有权限访问目标文件。
STANDARD,低频存储返回STANDARD_IA,冷存储返回COLD,归档存储返回ARCHIVE;如果是多AZ类型bucket,多AZ低频存储返回MAZ_STANDARD_IA,多AZ标准存储返回MAZ_STANDARD。
storageClass 参数名称 参数类型 是否必须 描述 示例值 参数位置 bucketName String 是 Bucket名称 bucketName_example Path 请求体参数 请求体字段数据结构说明 参数名称 参数类型 是否必须 描述 示例值 storageClass String 是 指定Bucket的默认存储类型,STANDARD代表标准存储,STANDARD_IA代表低频存储
权限相关接口 创建权限组中的权限 描述 在特定的存储网关权限组中 创建一个权限 请求结构 POST /v{version}/auth&authGroupId={authGroupId} HTTP/1.1 Host: bsg.bj.baidubce.com Authorization: authorization string { "authGroupId": authGroupId
使用前须知 在配置清单前,您需要了解两个概念: 源存储桶 :想要开通清单功能的存储桶。 包含清单中所列出的对象。 包含清单的配置。 目标存储桶 :存储清单的存储桶。 包含清单列表文件。 包含 Manifest 文件,描述清单列表文件的位置。 设置存储空间清单 登录 对象存储 BOS 管理控制台 。
存储类型,支持: 'STANDARD'(标准存储类型)、'STANDARD_IA'(低频存储)、'ARCHIVE'(归档存储)、'COLD'(冷存储)、'MAZ_STANDARD'(标准存储-多AZ)、'MAZ_STANDARD_IA'(低频存储-多AZ)
变更文件存储等级 变更文件存储等级 上文中已提到,BOS支持为文件赋予STANDARD(标准存储), STANDARD_IA(低频存储)和COLD(冷存储)三种存储类型。同时,BOS C++ SDK也支持用户对特定文件执行存储类型变更的操作。
变更文件存储等级 上文中已提到,BOS支持为文件赋予STANDARD(标准存储), STANDARD_IA(低频存储)、COLD(冷存储)、ARCHIVE(归档存储)四种存储类型。同时,BOS python SDK也支持用户对特定文件执行存储类型变更的操作。