对象存储作为云端最佳存储方案,BOS 提供一整套高性能大数据计算解决方案。在大数据场景中,BOS 可以作为您本地自建或者云端 MapReduce 计算集群 、Hive、Spark 离线数仓集群的底层存储系统,原生分层命名空间能力,可以将大数据计算中的大规模批量操作如 Rename、List、Head 等操作的时延降低约 70%,突破传统对象存储支持大数据计算方案的延迟瓶颈。
CFS提供了性能型和容量型存储类型,更多详情参见 产品规格 。
普通存储桶转换为分层命名空间存储桶 概述 BOS 元数据转换服务支持在未部署任何工具的情况下,直接将 BOS 普通存储桶转换为分层命名空间存储桶。分层命名空间存储桶在支持普通平层桶绝大部分特性和兼容大部分 HDFS 文件系统接口的同时,可以支持目录原子性 Rename 和 Delete,同时优化了 List 和 Head 请求时延,能很好的满足大数据和 AI 领域的数据湖计算场景。
网关部署位置 BSG 提供云端部署和本地部署两种方式: 云端部署:适用于计算节点都在百度智能云的场景,如您使用了云服务器 BCC,希望通过存储网关将 BCC 中的日志数据存储在对象存储 BOS 上,则您需要“云端部署”的形式。 本地部署:若您的计算节点位于本地数据中心,如您希望将本地数据中心的冷数据拓展到云端进行备份,则您需要选择“本地部署”的形式。
应用场景 场景1:大数据计算场景 传统的大数据场景下,一般都使用基于 HDFS 的存算一体架构。
缓存实例是在计算节点本地化运行的代理程序,您需要将其创建到需要的 VPC 中。 3. 导入数据源 :创建缓存实例后,您还需要导入数据源,并将数据源关联到已创建的缓存实例上。您可以创建多个数据源(最多10个),一个数据源对应对象存储 BOS 中的一个 bucket或目录。操作完成后,您就可以把对象存储 BOS 中的 bucket 以文件系统的形式供在计算节点直接读写。 4.
例如,一个文件的长度为3KB,则计算为4KB;③文件空洞不计算入存储空间,文件空洞是指没有实际写入文件的字节。 CFS根据实际使用的存储容量计费,即按照用户存储数据所占用的“存储空间”大小收费。
云服务器BCC 专属服务器DCC GPU云服务器 弹性裸金属服务器 云手机 应用引擎 BAE 轻量应用服务器LS 弹性公网IP 私有网络 VPC 负载均衡 BLB 智能云解析 DNS 专线ET 云智能网 CSN 云防火墙 CFW 对象存储 BOS 文件存储 CFS 云磁盘 CDS 存储网关BSG 边缘计算节点 BEC 数据流转平台CloudFlow 内容分发网络 CDN 海外CDN 动态加速 DRCDN
通用存储容量包GSCP 产品介绍 通用存储容量包 GSCP(GeneralStorageCapacityPackage,简称 GSCP),是基于通用存储容量 GSC(GeneralStorageCapacity,简称 GSC)而衍生的一种预付费存储容量售卖形态: 通用存储容量 GSC,单位为 GB,是通用于各种云磁盘类型的一种虚拟存储容量计量方式,是衡量通用存储容量包大小的基准单位; 通用存储容量是一种产品维度的容量衡量
假设突发池的最大大小是 1600000 IO,吞吐按照每个 IO 128KB 计算。现有标称性能是1000 IOPS 的磁盘实际以 200 IOPS 运行一小时,那么突发池中积累的可用 IO 是min((1000-200) ∗ 3600, 1600000),数据量是min((1000-200) ∗ 3600 ∗ 128KB, 1600000 ∗ 128KB)。