Windows下搭建RocketMQ双主双从集群指南

一、背景与目标

在分布式系统中，消息队列是解耦微服务、实现异步通信的核心组件。RocketMQ作为Apache顶级项目，以其高性能、高可靠特性被广泛采用。双主双从架构通过主从复制提升可用性，主节点负责写操作，从节点同步数据并提供读服务，即使单主节点故障，系统仍能持续运行。本文将详细阐述如何在Windows环境下搭建RocketMQ双主双从集群，帮助开发者快速构建高可用消息队列系统。

二、环境准备

1. 硬件与软件要求

• 操作系统：Windows 10/11或Windows Server 2019及以上版本，需支持Java运行环境。
• Java环境：JDK 1.8或更高版本，建议使用Oracle JDK或OpenJDK。
• 磁盘空间：每个节点至少预留10GB空间，用于存储消息数据与日志。
• 网络配置：确保各节点间网络互通，建议使用静态IP地址。

2. 下载与解压RocketMQ

• 从Apache RocketMQ官网下载最新稳定版（如5.1.0），选择Binary版本。
• 解压至指定目录，如D:\rocketmq，后续配置均基于此路径。

3. 配置Hosts文件

编辑C:\Windows\System32\drivers\etc\hosts文件，添加集群节点IP与主机名映射：

192.168.1.100 master1
192.168.1.101 master2
192.168.1.102 slave1
192.168.1.103 slave2

确保所有节点Hosts文件一致，避免DNS解析问题。

三、节点配置

1. 主节点配置（Master1 & Master2）

修改conf/broker.conf

brokerClusterName = DefaultCluster
brokerName = master1  # Master2节点改为master2
brokerId = 0
namesrvAddr = 192.168.1.100:9876;192.168.1.101:9876  # 两个主节点的NameServer地址
listenPort = 10911  # Master1默认端口，Master2可改为10912
storePathRootDir = D:\rocketmq\store\master1  # 区分不同节点存储路径
storePathCommitLog = D:\rocketmq\store\master1\commitlog
autoCreateTopicEnable = true

关键参数说明

• brokerId=0表示主节点，从节点需设为非零值（如1）。
• namesrvAddr需包含所有NameServer节点地址，实现高可用。

2. 从节点配置（Slave1 & Slave2）

修改conf/broker.conf

brokerClusterName = DefaultCluster
brokerName = master1  # 与对应主节点一致
brokerId = 1  # 从节点标识
namesrvAddr = 192.168.1.100:9876;192.168.1.101:9876
listenPort = 10921  # Slave1默认端口，Slave2可改为10922
storePathRootDir = D:\rocketmq\store\slave1
storePathCommitLog = D:\rocketmq\store\slave1\commitlog

主从同步配置

在主节点配置中添加brokerRole=SYNC_MASTER（同步复制）或ASYNC_MASTER（异步复制），从节点配置brokerRole=SLAVE。同步复制确保数据一致性，但性能略低。

四、启动集群

1. 启动NameServer

在两个主节点上分别执行：

cd D:\rocketmq\bin
mqnamesrv.cmd

验证日志输出The Name Server boot success，表示启动成功。

2. 启动Broker

主节点启动

mqbroker.cmd -n 192.168.1.100:9876;192.168.1.101:9876 -c D:\rocketmq\conf\broker.conf

从节点启动

mqbroker.cmd -n 192.168.1.100:9876;192.168.1.101:9876 -c D:\rocketmq\conf\broker.conf

验证主从同步

通过mqadmin工具检查同步状态：

mqadmin clusterList -n 192.168.1.100:9876

输出应显示主从节点状态为RUNNING，且InSyncReplicaNum大于0。

五、测试与验证

1. 发送消息测试

// Producer示例
DefaultMQProducer producer = new DefaultMQProducer("test_group");
producer.setNamesrvAddr("192.168.1.100:9876;192.168.1.101:9876");
producer.start();
Message msg = new Message("TestTopic", "Hello RocketMQ".getBytes());
producer.send(msg);
producer.shutdown();

2. 消费消息测试

// Consumer示例
DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("test_group");
consumer.setNamesrvAddr("192.168.1.100:9876;192.168.1.101:9876");
consumer.subscribe("TestTopic", "*");
consumer.registerMessageListener((msgs, context) -> {
    for (MessageExt msg : msgs) {
        System.out.println("Received: " + new String(msg.getBody()));
    }
    return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
});
consumer.start();

3. 故障转移测试

• 停止主节点Broker进程，验证从节点是否自动接管写请求（需配置brokerRole=SYNC_MASTER且autoSwitchMaster=true）。
• 恢复主节点后，检查数据是否重新同步。

六、常见问题与解决

1. 端口冲突

• 现象：启动Broker时提示Port already in use。
• 解决：修改listenPort为未占用端口，或终止占用进程。

2. 主从同步延迟

• 现象：InSyncReplicaNum为0，消息无法同步。
• 解决：
  • 检查网络延迟，确保主从节点间带宽充足。
  • 调整syncFlushTimeout参数，延长同步超时时间。

3. NameServer不可用

• 现象：Broker无法注册到NameServer。
• 解决：
  • 检查namesrvAddr配置是否正确。
  • 验证NameServer进程是否运行，日志是否有错误。

七、优化建议

1. 性能调优

• 内存配置：修改runbroker.cmd中的JVM参数，如-Xms4g -Xmx4g。
• 磁盘I/O：使用SSD存储消息，提升吞吐量。

2. 监控与告警

• 集成Prometheus + Grafana监控集群状态，设置磁盘空间、同步延迟等告警规则。

3. 备份与恢复

• 定期备份commitlog目录，使用mqadmin dumpLog工具恢复误删消息。

八、总结

通过本文步骤，开发者可在Windows环境下快速搭建RocketMQ双主双从集群，实现高可用消息队列服务。关键点包括：

1. 精确配置broker.conf，区分主从节点角色。
2. 确保NameServer集群化部署，避免单点故障。
3. 验证主从同步状态，保障数据一致性。
4. 通过故障转移测试，验证集群容错能力。

实际生产环境中，建议结合容器化部署（如Docker）简化运维，并定期进行压测与优化，确保系统稳定运行。