Flume数据存储到BOS Flume Flume是一个分布式、可靠性和高可用的海量日志聚合系统,支持在系统中定制各类数据发送方,用于收集数据;同时,FLume提供对数据进行简单处理,并写到各种数据接收方(可定制)的能力。 Flume支持多种Sink类型,可以借助HDFS Sink将收集到的数据存储到BOS。 开始 1. 下载并安装apache-flume 略 2.
获取Bucket指定id数据同步的进程状态 接口说明 本接口用来获取指定id的数据同步复制的进程状态。 请求URI GET /v1/{bucketName}/?
支持的迁移类型为三方对象存储数据到百度智能云对象存储,并支持对迁移任务的进度和结果进行查看。对失败的迁移任务,支持发起迁移重试,并支持对迁移任务发起中断、删除等操作。
客户端加密 客户端加密是指将文件(Object)发送到对象存储BOS之前在本地进行加密。使用客户端加密功能时,百度智能云对象存储不参与加密和解密过程,只负责文件的上传、存储、下载过程,明文密钥由用户自行保管在本地。客户端加密增强了文件安全性,即使文件意外泄露,别人也无法解密得到原始数据。
目标前缀:您可以选择文件在目标 Bucket 中的存储位置。若输入的前缀不存在,目的端 Bucket 将自动生成新的前缀。前缀不支持连续的/符号,若您输入的前缀中包含连续/如///,则/只保留一个。 目标存储类型:您可以设置文件在目的 Bucket 中的存储类型。目标 Bucket 的存储类型可以选择和源对象相同,也可以根据需要选择其它的存储类型。
Bucket数据同步 若用户需要开启Bucket之间的数据同步,则如下代码可以做到: 参数 是否必须 描述 id 是 replication规则名,id 由数字字母 - _ 组成,不得超过20个字符 status 是 是否生效,生效为enabled resource 是 replication生效前缀,resource的配置形式为{$bucket_name/<生效的对象前缀>},必须要以
数据发布 概述 BOS 支持为已创建的 Bucket 设置多种域名,从而对存储的数据进行发布。
拷贝数据 概述 拷贝数据是指在不改变原有数据内容的情况下,将某个存储空间(Bucket)内的一些数据(Object)复制到另外一个 Bucket 中。其中归档存储类型文件需要先取回,才能进行拷贝操作,并且归档类型不支持更新 meta,您可以通过BOS提供的 CopyObject 接口来实现数据的拷贝。
使用 bosimport ,其目前支持不同云平台资源迁移到对象存储BOS服务,如:阿里云OSS迁移到百度智能云对象存储BOS; 3. 使用bos api / sdk 进行开发,可以结合自身业务开发集成,进行上传业务资源。 BOS服务有备份功能吗? BOS对象存储服务是支持备份功能的。 1.
COLD ReplicateHistory字段数据结构说明 参数名称 参数类型 是否必须 描述 示例值 storageClass String 否 目的Object的存储类型。