概述

主从复制模式

• Elasticsearch的主从复制模式，是基于“文档复制”（document replication）：当有增删改文档操作时，操作请求会先转发到主分片（primary shard），主分片在其本地构建索引，然后把这个操作请求转发给各副本分片（replica shard）所在节点，每个节点分别构建各自的索引数据。
• 百度云Elasticsearch提供一种基于“段复制”（segment replication）的主从同步机制：只有主分片会执行构建索引数据的过程，构建完成后，把新增的索引数据直接复制给各个副本分片。由于Elasticsearch的索引数据底层是lucene的段（segment）文件，因此这种数据复制模式被称为“段复制”。
• 您可根据使用需求，在创建新索引时选择主从复制模式为“文档复制”或“段复制”。

优势

• “文档复制”每个副本所在节点各自构建索引，因此集群整体的cpu开销更大。相比而言，“段复制”会节省这部分cpu压力，从而增加集群的写入吞吐量。不过，“段复制”也会加大集群内部的网络通信压力，以及搜索滞后性。
• 详细对比数据可参考本页末的性能测试。

适用场景

1. 写入QPS较大、CPU使用率较高的集群。
2. 业务对搜索滞后性不敏感。典型使用场景为日志检索。

使用方式

创建基于段复制的索引

主从复制模式可基于集群粒度或索引粒度来配置。配置只影响新创建的索引，且索引一旦创建后，该索引的复制模式不能再修改。

• 集群粒度设置使用示例：

PUT /_cluster/settings
{
  "persistent": {
    "cluster.indices.replication.strategy": "SEGMENT"
  }
}

此后新创建的索引，如果不显式指定索引粒度的复制模式，则以集群粒度的配置为准。

• 索引粒度设置使用示例：

PUT /my-index1
{
  "settings": {
    "index.replication.type": "SEGMENT" 
  }
}

查看段复制的执行状态

您可查看开启了段复制的索引的执行状态，并可以指定索引：

GET _cat/segment_replication?v
GET _cat/segment_replication/{index}?v

请求参数（可选）：

响应结果说明：

相关优化项

如果启用了“段复制”模式，推荐您了解以下的集群粒度设置，可能会帮助您更好地使用集群。

依据primary数量进行shard分配

Elasticsearch默认的shard分配策略，是使各数据节点的shard数量趋于相同，但不区分primary shard和replica shard。

而如果您开启了段复制功能，且集群内全部索引或绝大部分索引都是基于段复制的，那么仅primary shard有较大的写入压力，因此我们提供了一种根据primary shard数量分配的策略配置：

不过，这个设置只影响新建索引时的shard分配策略。如果开启设置前，所有shard已经被分配均衡，不会因为primary shard的分布不均衡而触发重分配。在其它场景下，比如故障恢复中，该设置也不会影响shard的重分配。

背压机制

我们提供一种分片级背压机制：当副本分片落后于主分片超过一定阈值时，可以动态地拒绝对这个分片的写入请求，直到下降到阈值以下时，又可以恢复写入。如果开启集群的段复制背压机制，则所有段复制模式的索引都会启用背压机制。

配置项如下：

拷贝限速

节点间的段复制过程中，可能存在网络带宽占用较大的问题，默认开启一定的速度限制。而如果您需要尽可能降低主从复制的延迟，可以提高限速阈值，或取消限速。

内核版本要求

Elasticsearch版本7.10.2，内核版本1.7.0及以上。

性能测试

测试集群包括5个es数据节点（bes.g3.c8m32），机型详细规格如下：

使用esrally测试工具，数据集为nyc_taxis，每组测试写入8000万条数据（单shard存储占用约16GB）。写入时，每bulk请求10000条文档，并发数为10。

测试结果如下：

结论：

在上述集群配置条件下，与文档复制相比，段复制可以明显提升集群写入性能，写入吞吐量可提升约30%。