数据保留合规 BOS支持WORM(Write once read many)特性,允许用户以“不可删除、不可篡改”方式保存和使用数据,数据更加安全,可满足数据合规存储的需求。 BOS提供强合规策略,您可以针对Bucket设置基于时间的合规保留策略。当策略锁定后,用户可以在Bucket中上传和读取Object,但是在Object的保留时间到期之前,任何用户都无法删除或修改Object和策略。
使用SFTP上传下载CFS文件系统数据 本文档介绍如何使用SFTP上传和下载CFS文件系统上的数据。 前提条件 在CFS文件系统所在地域,已购买 云服务器BCC 实例(以下介绍将以CentOS操作系统为例),详细请参见 创建BCC实例 。 背景信息 SFTP的传输速度依赖于BCC的外网带宽,请根据业务需求配置适当的网络带宽。
获取数据元信息 概述 数据元信息(Object Meta)是对上传到 BOS 的文件的属性描述,分为两种:系统定义的 Meta 和 User Meta(用户自定义元信息)。数据元信息可以在各种方式上传时或者拷贝文件时进行设置。
使用场景 您的网络环境不好(带宽小、网络不稳定),且带宽成本非常昂贵; 希望尽快完成数据的上云,但是专线方式的费用过于昂贵; 自己没有硬盘或者无可移动的数据存储和传输设备; 月光宝盒由 BOS 为您提供移动存储设备,该设备具有大容量、可视化操作、军工级别防护加密等特性。
更多配置 # 指定拷贝数据时map的数目 # 更多的map数量可能不会提升数据吞吐,反而会带来一些问题,map数量应该根据集群资源和拷贝数据规模综合设定 $ hadoop distcp -m 10 hdfs://host:port/src bos://bucket/dst # 忽略失败的map,但会保留失败操作日志 $ hadoop distcp -i hdfs://host:port/src bos
获取Bucket指定id数据同步的进程状态 接口说明 本接口用来获取指定id的数据同步复制的进程状态。 请求URI GET /v1/{bucketName}/?
数据流转平台 CloudFlow(推荐使用) :是百度智能云存储推出的存储数据全托管迁移平台,支持可视化创建迁移任务,并对迁移任务的进度进行查看。您可以通过数据流转平台对其他云服务商中的历史存量数据和增量数据发起跨云迁移,也可以对本地自建的对象存储集群进行上云迁移。CloudFlow 支持公网和专线环境的数据迁移。
若数据集导出至本地且导出任务完成,您可至导出任务列表中执行“下载”操作。 若数据集导出至BOS且导出任务完成,您可至导出任务列表中执行“前往BOS查看”操作,而后跳转到存储页面下载文件。 注意:目前数据集导出支持导出数据至百度云对象存储服务BOS,BOS支持标准、低频、冷和归档存储等多种存储类型,满足多场景的存储需求,并提供灵活的接口服务支持下载至本地服务器。
在元数据维度,HDFS Client 访问 HDFS Namenode,一次元数据操作只需要几百微秒。而对象存储要经过鉴权、协议转换再加上由于计算节点和存储节点延迟变高的原因,延迟会有增加。在数据面维度,由于要经过网关节点、对象存储前端、以及对象存储后端,相比于 HDFS,数据吞吐会有很大的衰减。 第二个挑战是 HDFS 上游计算生态的兼容性问题。
Hive访问HBase数据。 从Hive提示符中运行时,以下示例创建了一个外部表,此表引用了存储在名为 hive_hbase 的HBase表上的数据。然后,您可直接引用Hive语句中的 pagecounts_hbase ,查询和修改存储在HBase集群上的数据。