Flume数据存储到BOS Flume Flume是一个分布式、可靠性和高可用的海量日志聚合系统,支持在系统中定制各类数据发送方,用于收集数据;同时,FLume提供对数据进行简单处理,并写到各种数据接收方(可定制)的能力。 Flume支持多种Sink类型,可以借助HDFS Sink将收集到的数据存储到BOS。 开始 1. 下载并安装apache-flume 略 2.
加密数据盘及快照 概述 加密数据盘后,数据盘中的动态传输数据以及静态数据都会被加密,且数据盘创建的快照,快照生成的新的 CDS 云磁盘都将被加密。 创建云服务器BCC时为数据盘加密 1. 登录百度智能云官网 登录 百度智能云官网 。 若您未注册账号,须先 注册账户 。 若您已注册,可直接 登录 。 2.
使用场景 您的网络环境不好(带宽小、网络不稳定),且带宽成本非常昂贵; 希望尽快完成数据的上云,但是专线方式的费用过于昂贵; 自己没有硬盘或者无可移动的数据存储和传输设备; 月光宝盒由 BOS 为您提供移动存储设备,该设备具有大容量、可视化操作、军工级别防护加密等特性。
上传数据时,BOS对收到的用户数据进行加密,然后再将得到的加密数据持久化保存下来;下载数据时,BOS自动对保存的加密数据进行解密并把原始数据返回给用户,并在返回的HTTP请求Header中,声明该数据进行了服务器端加密。 BOS通过服务器端加密机制,提供静态数据保护。适合于对于文件存储有高安全性或者合规性要求的应用场景。例如,深度学习样本文件的存储、在线协作类文档数据的存储。
拷贝数据 概述 拷贝数据是指在不改变原有数据内容的情况下,将某个存储空间(Bucket)内的一些数据(Object)复制到另外一个 Bucket 中。其中归档存储类型文件需要先取回,才能进行拷贝操作,并且归档类型不支持更新 meta,您可以通过BOS提供的 CopyObject 接口来实现数据的拷贝。
与对象存储BOS的关系 您通过数据流转平台 CloudFlow,最终以对象形式将数据存储到百度智能云对象存储 BOS。CloudFlow 支持三方云对象存储数据迁移到 BOS,也支持通过月光宝盒设备寄送的方式将本地数据上传到 BOS。 通过CloudFlow在线服务进行三方云数据迁移 通过Cloudflow月光宝盒进行本地数据上云
用户最多配置10条replication规则 单个规则,最多20个resource id 由数字字母 - _ 组成,不得超过20个字符 获取指定的数据同步规则 用户可通过该方法获取bucket指定id的数据同步信息,包括源Bucket名称、目的Bucket名称、存储类型、是否进行历史复制、数据同步策略、目的region等 基本流程 1. 创建BosClient。 2.
包括源Bucket名称、目的Bucket名称、存储类型、是否进行历史复制,数据同步策略,目的region等。
对象存储BOS中,可以通过以下方法进行不同Bucket间数据复制。 1. 使用BOS提供 数据迁移与备份 功能,其可以把不同账号的数据进行迁移; 2. 使用bos周边工具,其提供了部分云平台数据迁移方式,如: bos import ,其可以实现跨账号迁移bos资源。 如何进行外部迁移? 外部资源迁移到对象存储BOS服务,可以通过以下方案操作: 1.
数据保留合规 BOS支持WORM(Write once read many)特性,允许用户以“不可删除、不可篡改”方式保存和使用数据,数据更加安全,可满足数据合规存储的需求。 BOS提供强合规策略,您可以针对Bucket设置基于时间的合规保留策略。当策略锁定后,用户可以在Bucket中上传和读取Object,但是在Object的保留时间到期之前,任何用户都无法删除或修改Object和策略。