一、环境准备与基础组件安装

1.1 操作系统要求

推荐使用CentOS 7/8或Ubuntu 20.04 LTS等主流Linux发行版，需满足以下条件：

• 内存：至少4GB（生产环境建议8GB+）
• 磁盘：SSD存储空间≥50GB
• 网络：千兆网卡，开放9092（Kafka默认）、2181（Zookeeper默认）等端口

1.2 Java环境配置

Kafka依赖Java运行环境，建议安装OpenJDK 11：

# CentOS安装示例
sudo yum install -y java-11-openjdk-devel
java -version  # 验证安装
# Ubuntu安装示例
sudo apt update
sudo apt install -y openjdk-11-jdk

二、传统Zookeeper模式部署

2.1 Zookeeper服务安装

2.1.1 下载与解压

从Apache官方托管仓库获取最新稳定版（本文以3.9.2为例）：

wget https://dlcdn.apache.org/zookeeper/zookeeper-3.9.2/apache-zookeeper-3.9.2-bin.tar.gz
tar -xzf apache-zookeeper-3.9.2-bin.tar.gz -C /opt/
cd /opt/apache-zookeeper-3.9.2-bin

2.1.2 配置优化

复制示例配置文件并修改关键参数：

cp conf/zoo_sample.cfg conf/zoo.cfg
vim conf/zoo.cfg

核心配置项说明：

tickTime=2000          # 心跳间隔(ms)
dataDir=/var/lib/zookeeper  # 数据存储路径
clientPort=2181        # 客户端连接端口
maxClientCnxns=60      # 最大客户端连接数
autopurge.snapRetainCount=3  # 保留快照数量
autopurge.purgeInterval=24   # 自动清理间隔(小时)

2.1.3 服务管理

启动/停止命令（需在安装目录执行）：

# 启动服务（后台运行）
bin/zkServer.sh start
# 验证服务状态
echo stat | nc localhost 2181
# 预期输出：Zookeeper version: 3.9.2...
# 停止服务
bin/zkServer.sh stop

2.2 Kafka服务部署

2.2.1 安装包获取

wget https://dlcdn.apache.org/kafka/3.9.1/kafka_2.13-3.9.1.tgz
tar -xzf kafka_2.13-3.9.1.tgz -C /opt/
cd /opt/kafka_2.13-3.9.1

2.2.2 核心配置

修改config/server.properties关键参数：

broker.id=0            # 节点ID（集群中需唯一）
listeners=PLAINTEXT://:9092  # 监听地址
log.dirs=/var/lib/kafka  # 日志存储路径
zookeeper.connect=localhost:2181  # Zookeeper连接串
num.partitions=3        # 默认分区数
log.retention.hours=168 # 日志保留时间(小时)

2.2.3 服务管理

# 启动服务（后台运行）
bin/kafka-server-start.sh -daemon config/server.properties
# 验证服务状态
netstat -tulnp | grep 9092
# 预期输出：tcp 0 0 0.0.0.0:9092 0.0.0.0:* LISTEN
# 停止服务
bin/kafka-server-stop.sh

三、新一代KRaft模式部署（无Zookeeper）

3.1 模式对比

特性	Zookeeper模式	KRaft模式
元数据管理	独立Zookeeper集群	内置Quorum控制器
部署复杂度	高	低
扩展性	有限	优秀
推荐场景	传统架构	新建集群

3.2 部署流程

3.2.1 生成集群UUID

cd /opt/kafka_2.13-3.9.1/bin
./kafka-storage.sh random-uuid
# 示例输出：5jXxYz12-3456-7890-aBcD-eFgHiJkLmNoP

3.2.2 格式化存储目录

# 使用生成的UUID格式化日志目录
./kafka-storage.sh format -t <生成的UUID> -c ../config/kraft/server.properties

3.2.3 配置调整

修改config/kraft/server.properties：

process.roles=broker,controller  # 角色定义
node.id=1                        # 节点ID
controller.quorum.voters=1@localhost:9093,2@node2:9093,3@node3:9093
listeners=PLAINTEXT://:9092,CONTROLLER://:9093

3.2.4 服务启动

# 启动服务（KRaft模式需指定配置目录）
export KAFKA_OPTS=-Djava.security.auth.login.config=../config/kraft/jaas.conf
bin/kafka-server-start.sh ../config/kraft/server.properties

四、生产环境优化建议

4.1 端口管理方案

• Zookeeper服务：

  • 客户端端口：2181
  • Leader选举端口：2888
  • 集群通信端口：3888
  • 管理端口（建议修改）：admin.serverPort=9089

• Kafka服务：

  • 业务端口：9092
  • 控制器端口：9093（KRaft模式）
  • JMX监控端口：9999（需显式配置）

4.2 集群监控方案

推荐集成Prometheus+Grafana监控体系：

1. 启用JMX导出器
2. 配置Prometheus抓取任务
3. 导入Kafka官方Grafana仪表盘（ID: 7589）

4.3 安全配置建议

# config/server.properties 安全相关配置
security.inter.broker.protocol=SASL_PLAINTEXT
sasl.enabled.mechanisms=PLAIN
sasl.mechanism.inter.broker.protocol=PLAIN
authorizer.class.name=kafka.security.authorizer.AclAuthorizer

五、常见问题处理

5.1 端口冲突解决

# 查找占用端口的进程
lsof -i :9092
# 强制终止进程
kill -9 <PID>

5.2 日志清理策略

配置日志轮转（推荐使用logrotate）：

# /etc/logrotate.d/kafka
/var/lib/kafka/*.log {
    daily
    rotate 7
    missingok
    notifempty
    compress
    delaycompress
    copytruncate
}

5.3 集群扩容流程

1. 新节点安装相同版本Kafka
2. 更新server.properties配置
3. 启动新节点服务
4. 使用kafka-reassign-partitions.sh进行分区重分配

本指南完整覆盖了Kafka 3.9.1在Linux环境下的两种部署模式，特别针对生产环境提供了详细的配置优化建议。实际部署时建议先在测试环境验证配置，再逐步迁移至生产环境。对于大规模集群，建议结合容器化部署方案实现更高效的资源管理。