多 AZ 类型 Bucket 仅能同步到多 AZ 类型 Bucket,无法同步到单 AZ 类型 Bucket;单 AZ 类型 Bucket 仅能同步到单 AZ 类型 Bucket,无法同步到多 AZ 类型 Bucket。 说明: 数据同步的两个 Bucket 可以是 跨区域 的,也可以是 同区域 的。
对于 uploadId 的存储,需要满足不受页面关闭的影响,比较理想的做法是存储在 localStorage 中。 本地存储 在保存 uploadId 时,我们需要为它指定一个 key ,让不同的文件、不同的上传过程区分开。
多AZ存储 概述 开启多AZ存储后,BOS会将用户的数据分散存放在同一地域下的多个可用区内。 多AZ存储可以提供强大的容灾能力,当某个可用区因物理原因不可用时,BOS仍然能保障数据的正常访问,从而保证业务的连续性。
百度沧海高性能存储解决方案 在百度内部实践的基础上,孵化出了百度沧海存储在高性能计算领域的整体解决方案。这个解决方案,和百度内部的实践是一样的,由大容量、高吞吐、低成本的存储底座,和更快的运行时存储 PFS、RapidFS 组成。 对象存储已经是业界共识的云上数据湖的事实标准,满足存储底座的所有条件,同时还有丰富的生态。
如果保持和源Bucket的存储类型一致,则该参数不需要配置;如果需要单独指定存储类型可以为STANDARD,STANDARD_IA,COLD;如果是多AZ类型bucket,可取值为MAZ_STANDARD_IA和MAZ_STANDARD。
查询集群存储容量 查询集群存储容量 接口描述 本接口用于查询指定集群的存储容量信息。 请求结构 GET /v{version}/gaiadb/{clusterId}/capacity HTTP/1.1 HOST: gaiadb.bj.baidubce.com Authorization: authorization string 请求头域 除公共头域外,无其它特殊头域。
Flume 数据存储到 BOS Flume Flume 是一个分布式、可靠性和高可用的海量日志聚合系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Flume 提供对数据进行简单处理,并写到各种数据接收方(可定制)的能力。 Flume 支持多种 Sink 类型,可以借助 HDFS Sink 将收集到的数据存储到 BOS。 开始 1. 下载并安装 apache-flume 略 2.
低频存储返回STANDARD_IA,冷存储返回COLD,归档存储返回ARCHIVE,标准存储返回STANDARD。
列举存储空间中的文件 列举存储空间中的文件 BOS SDK支持用户通过以下两种方式列举出object: 简单列举 通过参数复杂列举 除此之外,用户还可在列出文件的同时模拟文件夹 简单列举 当用户希望简单快速列举出所需的文件时,可通过bos_list_object方法修改bos_list_object_params_t结构体,bos_list_object_params_t对象包含了此次listObject
模拟文件夹功能 在BOS的存储结果中是没有文件夹这个概念的,所有元素都是以Object来存储,但BOS的用户在使用数据时往往需要以文件夹来管理文件。 因此,BOS提供了创建模拟文件夹的能力,其本质上来说是创建了一个size为0的Object。对于这个Object可以上传下载,只是控制台会对以”/“结尾的Object以文件夹的方式展示。