数据湖系列之二 | 打造无限扩展的云存储系统，元数据存储底座的设计和实践
平坦 Namespace 技术演进 平坦 Namespace 主要存储一个对象的文件块的位置信息列表，一个对象文件分成了 N 个小块，每个小块文件都存储在数据面系统中，这个对象文件的块位置列表则存储在平坦 Namespace 中。逻辑结构如下图所示： 对象存储的元数据体量通常非常庞大，单机架构无法有效支撑。
面向百度网盘的大规模数据面存储架构思考与设计 | 百度智能云
下面介绍一下大规模数据存储的范畴，也就是说，当我们做大规模数据存储的时候我们要考虑哪些东西。 我认为可以分为两个圈层，第一个圈层是存储比较偏核心的一些东西，下面介绍一下。首先是模型和组织，我们要对数据建立合理的存储模型和访问模型，并进行合理的组织和结构化。 同时我们要提供访问的接口与协议，还有各种访问方式等等。然后我们还需要管理数据的分布、数据的分区以及数据的复制。
数据安全 对象存储（BOS）
数据安全 数据安全 当开发者在 BOS 进行数据存储和管理时，基于更高的数据可靠性要求，BOS提供回收站功能，防止数据的误删除，提供对误删除的数据进行找回，为数据管理提供了更高的可靠性，您可以在存储桶维度开启回收站功能，从此数据保护安全更加无忧。 应用场景： 数据恢复： 当使用数据时产生误删情况，希望有途径将数据找回。
本地数据上云 对象存储（BOS）
使用场景 您的网络环境不好（带宽小、网络不稳定），且带宽成本非常昂贵； 希望尽快完成数据的上云，但是专线方式的费用过于昂贵； 自己没有硬盘或者无可移动的数据存储和传输设备； 月光宝盒由 BOS 为您提供移动存储设备，该设备具有大容量、可视化操作、军工级别防护加密等特性。
设备状态数据存储到时序数据库TSDB - 物联网核心套件IoTCore | 百度智能云文档
设备状态数据存储到时序数据库TSDB 简介 本文档介绍如何将设备上报的状态数据通过规则引擎存储到时序数据库TSDB中，应用程序可以从TSDB中查询设备的历史状态数据。 阅读本示例前建议先熟悉快速入门文档。 场景描述 该场景演示物联网应用场景中常用的功能，包括设备接入、数据上报、数据存储、数据查询展示等。
百度NLP中文分词插件 - ElasticsearchBES | 百度智能云文档
百度NLP中文分词插件 analysis-baidu-nlp 是百度智能云Elasticsearch（简称ES）团队自主研发的中文分词插件，该插件在中文分词上的性能与准确率均处于业界领先水平。
元数据转换服务 对象存储（BOS）
元数据转换服务 概述 BOS元数据转换服务支持在未部署任何工具的情况下，直接将BOS普通存储桶转换为分层命名空间存储桶。分层命名空间存储桶在支持普通平层桶绝大部分特性和兼容大部分HDFS文件系统接口的同时，可以支持目录原子性Rename和Delete，同时优化了List和Head请求时延，能很好的满足大数据和AI领域的数据湖计算场景。
本地数据迁移到BOS 对象存储（BOS）
具体操作及注意事项请参见： BOS CMD Object 上传功能 方式2:月光宝盒拷贝后物理寄送方式上云 如果客户侧的网络环境不好（带宽小、网络不稳定），且带宽成本非常昂贵时，在有限的带宽下进行传输，速度也不是特别理想，则推荐使用月光宝盒进行离线传输。 月光宝盒是百度智能云 BOS 提供的一种 TB 级数据传输解决方案，它使用存储设备在百度智能云和客户之间传输大量数据。
IK中文分词插件与动态更新词典 - ElasticsearchBES | 百度智能云文档
IK中文分词插件与动态更新词典 IK中文分词插件（英文名为analysis-ik）是百度智能云Elasticsearch默认安装的中文分词插件。 本文介绍了IK 中文分词插件的 使用方法 和 动态更新IK词典 的方法。 注意：目前 IK中文分词插件 支持所有版本的Elasticsearch实例。
AI 应用的全流程存储加速方案技术解析和实践分享
根据一些统计的结果，可以发现很多训练的样本集面临的情况是，样本数量非常大，但样本的平均大小又很小。以 ImageNet 数据集为例，整个数据集包含几百万（ImageNet 1K）、上千万（ImageNet 22k）的图片，平均一个图片大小仅为一百多 KB。这个大小对存储系统来说是非常小的。 因此，很多 AI 训练都面临海量小文件的问题。
