无额外的运维,管理及学习成本,充分享受对象存储的生态及工具 应用场景: 大数据分析与计算 大数据分析和大数据计算。
操作准备 开通对象存储 注册并登录百度智能云平台,请参考 注册 和 登录 。 如果未进行实名认证,点击控制台右上角的用户名的“安全认证”进入认证页面并点击“实名认证”。请根据实际情况选择“企业认证”或者“个人认证”。 选择“产品服务>对象存储 BOS”,进入“开通对象存储BOS”页面,点击“立即开通”。BOS 开通后,在您账户余额未欠费的情况下,即可创建存储的 Bucket 并上传文件。
因此,在企业数据上云的趋势下,越来越多的企业选择将数据存储在云端,即存储在对象存储服务当中。但由于对象存储上层数据接口的限制,对象存储中数据和自建 HDFS 之间的访问和读写操作一直是大数据场景下的一个瓶颈,BOS HDFS 很好地解决了这个问题。
因此,在企业数据上云的趋势下,越来越多的企业选择将数据存储在云端,即存储在对象存储服务当中。但由于对象存储上层数据接口的限制,对象存储中数据和自建 HDFS 之间的访问和读写操作一直是大数据场景下的一个瓶颈,BOS HDFS 很好地解决了这个问题。
Flink 使用指南 Flink flink-bos-hadoop 是百度云对象存储系统 BOS 针对 Flink 的文件系统实现,并且支持了 recoverwriter 接口,Flink 可以基于该文件系统实现读写 BOS 上的数据以及作为流应用的状态后端。 安装 1.Flink 环境准备 以 1.15.0 版本为例。
API3.0介绍 百度智能云API升级至API3.0,提供 可视化的API调试界面 ,并能自动生成调用接口所需的代码,帮助开发者更高效地开展研发测试工作。 API3.0现已支持对象存储(BOS)、弹性公网IP(EIP)、数据传输服务(DTS)等产品,更多产品接入中,敬请期待。
目标 Bucket 中的对象是源 Bucket 中对象的精确副本,它们具有相同的对象名、元数据以及内容,例如创建时间、拥有者、用户定义的元数据、Object ACL、对象内容等。 使用场景 您可能基于各种原因对 Bucket 配置数据同步,这些原因包括: 高效访问,减少延迟 :跨 Region 访问 Bucket 或者 Object,访问速度会因地理上的差异而降低。
核心概念 本文将向您介绍对象存储 BOS 产品中涉及的几个核心概念,以便于您更好地理解 BOS 产品。 Object 在BOS中,用户操作的基本数据单元是Object。每个Object包含Key、Meta和Data。其中,Key是Object的名字;Meta是用户对该Object的描述,由一系列Name-Value对组成;Data是Object的数据。
简单上传 在简单上传的场景中,JS SDK 支持以数据流方式、以字符串方式、以指定文件形式(仅支持Node.js环境)、以blob对象形式(仅支持浏览器环境)执行Object上传。 分别对应 putObject 、 putObjectFromString 、 putObjectFromFile 、 putObjectFromBlob 方法。 基本流程 创建BosClient。
x-bce-restore String 当对象为归档存储类型,并且处于正在取回或已经取回时,会返回头域“x-bce-restore”,表示归档类型对象的取回状态:正在取回时返回ongoing-request= true ;已取回归档对象时,返回ongoing-request= false , expiry-date= Wed, 07 Nov 2019 00:00:00 GMT 。