基于BOS的冷热数据分离

百度智能云Elasticsearch（以下简称为ES）使用不同的存储介质来存储数据，达到冷热数据分离的目的：

• 对于读写性能要求比较高的“热数据”，使用SSD云磁盘存储，保障了高效的查询性能。

• 对于存储量需求比较大但对查询性能要求较低的“冷数据”，使用价格更低廉的百度对象存储（BOS）存储数据，大幅度降低存储成本。

  注意：目前冷热数据分离支持功能发布后新创建的7.4.2版本的实例，还不支持冷热数据分离的集群请提交工单，BES团队会协助升级集群，升级方式参见ES版本升级。

实现原理

优势

• 冷热数据分离：热数据使用SSD云磁盘存储，保证性能，冷数据使用价格低廉的BOS存储，更经济的满足用户的需求。
• 高性价比：使用BOS作为共享存储，扩大了ES单节点的存储容量，用户可以使用较少的ES节点存储大量的数据，大幅度降低存储成本。

适用场景

• 历史日志分析场景：历史数据量大，查询频率相对低，使用冷热数据分离可以大幅降低存储成本。

使用方法

创建BOS Bucket

冷热数据分离使用BOS来做冷数据的共享存储，因此在使用冷热数据分离架构前，需要先创建BOS Bucket。创建Bucket方式参见：创建Bucket。

注意：

使用BOS创建Bucket时，强烈建议配置生命周期规则如下：

• 不可启用删除Object规则，避免冷数据被删除
• 启用删除Part规则，保存天数设为1天，防止未上传完整的数据块占用存储空间，造成多余存储费用

配置BOS信息

通过如下API可以设置BOS存储信息：

PUT /_cluster/settings
{
  "persistent": {
    "bpack.remote_storage.bos.access_key": "xxxxxxxx",
    "bpack.remote_storage.bos.secret_key": "xxxxxxxx",
    "bpack.remote_storage.bos.bucket": "es_remote_bucket",
    "bpack.remote_storage.bos.endpoint": "bj.bcebos.com",
    "bpack.remote_storage.bos.base_path": "es_shared_data"
  }
}

参数说明：

创建冷热数据分离Index

在创建Index时，需要特别指定index.store.type为bosfs，这样百度智能云Elasticsearch才会使用冷热分离的架构来管理Index。

PUT /{index_name}
{
  "settings": {
    "index.store.type": "bosfs"
  }
}

冷数据迁移的触发条件

在上述2步操作结束后，用户可以和访问普通Index一样来对冷热数据分离的Index进行写入、查询数据。冷热数据分离的Index中的数据在满足一下2种情况之一时，会触发数据迁移到BOS。

手动触发迁移

当这个Index中的数据不再写入，并且读取频率比较低的时候，用户可以把Index设置为Cold状态，手动触发数据迁移。设置方式如下：

POST /_bpack/migrate/{index_name}/cold

注意：Cold状态的Index为只读状态，不能再写入数据。已经置为Cold状态的Index，不可以再改为普通状态。

定时调度触发迁移

用户可以使用定时调度-索引置冷来触发迁移，在定时置冷任务执行后，Index会置为Cold，并触发数据迁移，效果与上文手动触发迁移一致。

建议用户使用手动触发迁移或定时调度触发迁移来进行索引置冷。

自动触发迁移

冷热数据分离架构引入了一个设置项：写入冷却时间index.bpack.cooldown.write.time，默认为1h。当Index持续没有新数据写入超过了写入冷却时间，该Index中的数据会被迁移到BOS中。

用户可以通过以下API修改该参数：

PUT {index_name}/_settings
{
    "index.bpack.cooldown.write.time":"10h"
}

本地缓存淘汰策略

当本地磁盘使用率超过了缓存最大磁盘限制，本地数据会被删除。缓存最大磁盘限制默认为75%，用户可以通过修改设置项bpack.bosfs.cache.disk.limit来修改缓存最大磁盘限制，修改方式如下：

PUT /_cluster/settings
{
    "persistent": {
        "bpack.bosfs.cache.disk.limit" : "50%"
    }
}
or
PUT /_cluster/settings
{
    "persistent": {
        "bpack.bosfs.cache.disk.limit" : "0.5"
    }
}

常见问题

• Q：已经置为bosfs的Index还能改为其他的存储类型（如hybridfs、niofs等）吗？

  A：如果改为其他存储类型，由于数据存储目录不同，数据将失效。所以不可以改变为其他存储类型。同理，其他存储类型的Index也不可以改变为bosfs。

• Q：已经置为Cold状态的Index还能改回普通状态吗？

  A：不可以。且Cold状态的Index是只读状态，不能再写入数据了。

• Q：没有设置BOS信息，或BOS信息有误，可以创建bosfs的Index吗？

  A：可以创建成功，但Index不可用。更正BOS信息后，需要重新创建索引。