AWS-lambda同步S3数据到BOS 对象存储（BOS）
上传lambda代码 ：上传代码必须为zip格式，处理程序填写Go文件的文件名 配置触发器 ：我们选择S3触发器，进一步选择需要监听的S3存储桶，还能通过object前后缀缩小监听事件范围；添加之后会看到触发器内容为：存储桶: s3/bucket-name 事件类型: ObjectCreated 保存配置，用户每次上传object到S3 bucket，就会执行上传的Go lambda代码，同步该object
数据湖系列之二 | 打造无限扩展的云存储系统，元数据存储底座的设计和实践
云存储系统一般由数据面和元数据面构成，其中数据面用于存储用户数据，元数据面用于存储数据对应的 meta 信息。用户数据量和访问量的增加会导致元数据面存储的条目数和 QPS 增加，元数据面的扩展性会直接影响到整个存储系统的扩展性。
通过大数据 BMR 服务使用 RapidFS - 存储数据湖加速工具RapidFS
通过大数据 BMR 服务使用 RapidFS MapReduce（简称“BMR”）是托管的一站式大数据平台，提供高可靠、高安全性、高性价比、易运维的分布式计算服务，涵盖 Hadoop、Spark、Hive、Flink、Presto、Druid等多种开源组件，并与百度智能云对象存储无缝衔接，助力企业轻松高效地处理海量数据。
使用 DistCp 迁移数据至分层命名空间 Bucket 对象存储（BOS）
更多配置 # 指定拷贝数据时map的数目 # 更多的map数量可能不会提升数据吞吐，反而会带来一些问题，map数量应该根据集群资源和拷贝数据规模综合设定 $ hadoop distcp -m 10 hdfs://host:port/src bos://bucket/dst # 忽略失败的map，但会保留失败操作日志 $ hadoop distcp -i hdfs://host:port/src bos
面向百度网盘的大规模数据面存储架构思考与设计 | 百度智能云
下面介绍一下大规模数据存储的范畴，也就是说，当我们做大规模数据存储的时候我们要考虑哪些东西。 我认为可以分为两个圈层，第一个圈层是存储比较偏核心的一些东西，下面介绍一下。首先是模型和组织，我们要对数据建立合理的存储模型和访问模型，并进行合理的组织和结构化。 同时我们要提供访问的接口与协议，还有各种访问方式等等。然后我们还需要管理数据的分布、数据的分区以及数据的复制。
借助BOS进行数据迁移 - 并行文件存储PFS | 百度智能云文档
借助BOS进行数据迁移 适用场景 无法在百度云与IDC或三方云之间打通网络（如专线等），且需要将本地IDC或三方云的数据上传至PFS中。 操作步骤 第一步：先将本地数据/三方云数据迁移至BOS中，详见： 对象存储BOS数据迁移 第二步：利用BOS工具将数据从BOS迁移至PFS，详见： BOS与PFS之间的数据迁移
数据流动（标准型、增强型和极速型） - 并行文件存储PFS | 百度智能云文档
数据流动（标准型、增强型和极速型） 适用范围 仅适用于标准型，增强型和极速型。 应用场景 随着人工智能、自动驾驶和基因测序等新兴业务的兴起，非结构化数据量呈指数级增长。为了存储这些数据，越来越多的业务选择对象存储，但由于接口类型、性能等多种因素，应用程序往往更倾向于使用并行文件存储来进行数据计算与训练。为解决这一问题，数据流动功能实现了对象存储和并行文件存储PFS之间的对接和打通。
Kafka数据存储到BOS 对象存储（BOS）
Kafka数据存储到BOS 工具概述 Apache Kafka 是一个开源的分布式事件流平台，被广泛用于高性能数据管道、流分析、数据集成和关键任务应用。它支持通过connector方式将事件流数据导出到S3等对象存储系统上，本文将详细阐述如何利用Kafka的 S3 Sink Connector插件 将数据数据导出至BOS存储桶。
BOS与PFS之间的数据迁移 - 并行文件存储PFS | 百度智能云文档
BOS与PFS之间的数据迁移 适用场景 适用于并行文件存储PFS（标准型、增强型、极速型、极速型L2）与对象存储BOS之间的数据传输。 基本原理 将PFS挂载至BCC中，利用BOS命令行工具(BOS CMD) 将数据写入挂载目录或从挂载目录读出。 操作步骤 第一步：在同一VPC及可用区内创建BCC及PFS。 BCC创建方式请见： BCC创建实例 。
数据安全 对象存储（BOS）
数据安全 数据安全 当开发者在 BOS 进行数据存储和管理时，基于更高的数据可靠性要求，BOS提供回收站功能，防止数据的误删除，提供对误删除的数据进行找回，为数据管理提供了更高的可靠性，您可以在存储桶维度开启回收站功能，从此数据保护安全更加无忧。 应用场景： 数据恢复： 当使用数据时产生误删情况，希望有途径将数据找回。
