目标Bucket和源Bucket可以是同账户下的bucket,也可以是不同账户下的bucket,但是源账户需要有目的bucket的写权限 整个配置的大小不能超过128k,当前bucket下所有规则长度不得超过200KB 数据同步暂时不支持归档类型文件的同步,进行数据同步时会忽略归档类型文件。
Elasticsearch快照数据存储到BOS 工具概述 Elasticsearch 是一个分布式搜索和数据分析引擎,能够高效地存储、检索、分析、处理庞大的数据集。它支持将快照数据备份到S3等对象存储系统上,本文将详细阐述如何利用ES的 S3 Repository插件 将快照安全地备份至BOS远程存储。 配置教程 下载 Elasticsearch安装包 ,解压并启动ES。
获取数据元信息 概述 数据元信息(Object Meta)是对上传到 BOS 的文件的属性描述,分为两种:系统定义的 Meta 和 User Meta(用户自定义元信息)。数据元信息可以在各种方式上传时或者拷贝文件时进行设置。
实践步骤 以用户上传视频、图片等二进制文件为例,使用 CDN 动态加速上传数据到 BOS 的存储方案可以对上传过程优化,在有限增加成本的情况下提升上传速度和上传体验。
上传数据时,BOS对收到的用户数据进行加密,然后再将得到的加密数据持久化保存下来;下载数据时,BOS自动对保存的加密数据进行解密并把原始数据返回给用户,并在返回的HTTP请求Header中,声明该数据进行了服务器端加密。 BOS通过服务器端加密机制,提供静态数据保护。适合于对于文件存储有高安全性或者合规性要求的应用场景。例如,深度学习样本文件的存储、在线协作类文档数据的存储。
拷贝数据 概述 拷贝数据是指在不改变原有数据内容的情况下,将某个存储空间(Bucket)内的一些数据(Object)复制到另外一个 Bucket 中。其中归档存储类型文件需要先取回,才能进行拷贝操作,并且归档类型不支持更新 meta,您可以通过BOS提供的 CopyObject 接口来实现数据的拷贝。
与对象存储BOS的关系 您通过数据流转平台 CloudFlow,最终以对象形式将数据存储到百度智能云对象存储 BOS。CloudFlow 支持三方云对象存储数据迁移到 BOS,也支持通过月光宝盒设备寄送的方式将本地数据上传到 BOS。 通过CloudFlow在线服务进行三方云数据迁移 通过Cloudflow月光宝盒进行本地数据上云
包括源Bucket名称、目的Bucket名称、存储类型、是否进行历史复制,数据同步策略,目的region等。
数据保留合规 BOS支持WORM(Write once read many)特性,允许用户以“不可删除、不可篡改”方式保存和使用数据,数据更加安全,可满足数据合规存储的需求。 BOS提供强合规策略,您可以针对Bucket设置基于时间的合规保留策略。当策略锁定后,用户可以在Bucket中上传和读取Object,但是在Object的保留时间到期之前,任何用户都无法删除或修改Object和策略。
使用SFTP上传下载CFS文件系统数据 本文档介绍如何使用SFTP上传和下载CFS文件系统上的数据。 前提条件 在CFS文件系统所在地域,已购买 云服务器BCC 实例(以下介绍将以CentOS操作系统为例),详细请参见 创建BCC实例 。 背景信息 SFTP的传输速度依赖于BCC的外网带宽,请根据业务需求配置适当的网络带宽。