Kafka 走向无 ZooKeeper 时代：KRaft 的崛起

近年来，Kafka 作为流处理平台的领导者，已经在全球范围内得到了广泛的应用。然而，其依赖的 ZooKeeper 带来了不少挑战，如系统复杂性和效率问题。为了解决这些问题，社区开始探索去除对 ZooKeeper 的依赖。这一探索最终导致了 Kafka Raft（KRaft）的诞生。
KRaft 的出现，意味着 Kafka 将不再依赖 ZooKeeper。这一变化将对现有的 Kafka 用户产生深远影响。特别是那些目前使用 ZooKeeper 运行 Kafka 的团队，一旦 ZooKeeper 不再被支持，他们需要确定升级路径。
从协议角度看，这一变化对 Kafka 的生态系统影响不大。Raft 共识已经很好地融入了 Kafka，这意味着基础设施方面将发生显著变化。随着每个代理将 KRaft 逻辑纳入基础代码，ZooKeeper 节点将不再是 Kafka 基础设施的一部分。这并不意味着生产环境中的服务器减少，因为 KRaft 的引入可能会带来其他类型的服务器需求。
为什么社区决定从 ZooKeeper 中转移出来呢？Kafka 团队一直在努力去除对 ZooKeeper 的依赖，因为 ZooKeeper 带来了复杂性和系统效率问题。有时工作量还会加倍，例如要开启一些安全特性，Kafka 和 ZooKeeper 中都需要配置。此外，Kafka 集群每次启动时，Controller 必须从 ZooKeeper 加载集群的状态信息。这产生了效率问题。
为了理解为什么社区领导层决定从 ZooKeeper 中转移出来，我们可以直接从 KIP-500 中了解他们的理由。KIP-500 旨在解决 Kafka 的元数据管理和协调问题，特别是针对那些使用多集群和多租户部署的客户。在 KIP-500 的推动下，社区开始考虑使用 Raft 一致性算法替代 ZooKeeper 的必要性。
Kafka Raft（KRaft）将是 Kafka 的未来。许多开发者对这一变化感到兴奋，因为这将简化 Kafka 的架构并提高系统效率。随着每个代理将 KRaft 逻辑纳入基础代码，ZooKeeper 节点将不再是 Kafka 基础设施的一部分。这将为 Kafka 带来许多优势，包括但不限于更好的可扩展性、更高的可靠性和更低的维护成本。
然而，对于现有的 Kafka 用户来说，这一变化也意味着需要适应新的技术和架构。他们需要了解 KRaft 的工作原理，以及如何将其集成到现有的 Kafka 部署中。此外，他们还需要考虑如何处理过渡期间可能出现的问题和挑战。
总的来说，Kafka 走向无 ZooKeeper 时代是一个令人兴奋的发展。它标志着社区对简化架构和提高系统效率的追求取得了重大进展。虽然这个变化可能会带来一些挑战，但通过适应新技术和架构，我们可以克服这些挑战并开创更加美好的未来。