如何选择合适的集群规格
更新时间:2023-06-30
1. 预估业务流量
业务方需要预估自身流量需求,这里只考虑生产流量,即生产者每秒产生的数据量。
2. 使用规模预估工具获取推荐配置
在创建集群页面的节点配置选项旁提供了规模预估工具:
点击 配置推荐 后需要选择"流量峰值"、"部署方式"、"可用区"三个选项,下方会给出这种场景下推荐的集群配置:
选项说明:
- 流量峰值:对于 Kafka 集群,实际集群 写入流量 为业务流量 主题副本数,同时推荐预留 20% 的 buffer 应对后续业务增长、集群运维(节点重启、节点故障、主题分区迁移等场景)的需要,因此这里选择的流量峰值 = (预估业务流量 预估副本数)* 120%
-
部署方式:根据自身业务需求进行选择
- 高性能模式:会将 Kafka 节点部署在一个可用区下,减少跨可用区传输过程中造成的延迟。
- 高可用模式:会将 Kafka 节点部署在两个可用区下,可对集群进行多可用区灾备处理。
- 可用区:代表物理资源相对隔离的机房,尽量选择靠近自身业务以及有足够资源的可用区。详细介绍可以参考:可用区。
目前最高提供了上限为 2400MBps 流量下的推荐配置,如果业务需要更高流量,请提交工单进行咨询。