单机部署RocketMQ集群：完整指南与实战详解

一、引言

RocketMQ作为阿里巴巴开源的分布式消息中间件，凭借其高吞吐、低延迟和高可用的特性，已成为企业级应用的首选消息队列解决方案。在实际开发中，我们经常需要在单机环境下模拟集群部署，用于开发测试或学习研究。本文将详细介绍如何在单机环境下部署RocketMQ集群，涵盖从环境准备到验证测试的全流程。

二、环境准备

2.1 硬件要求

虽然是在单机部署，但仍建议满足以下最低配置：

• CPU：4核以上
• 内存：8GB以上
• 磁盘：SSD，至少50GB可用空间

2.2 软件要求

• JDK 1.8或更高版本
• Maven 3.2+（如需从源码构建）
• RocketMQ 4.9.4（当前稳定版本）

2.3 下载RocketMQ

可从官网或GitHub获取最新版本：

wget https://archive.apache.org/dist/rocketmq/4.9.4/rocketmq-all-4.9.4-bin-release.zip
unzip rocketmq-all-4.9.4-bin-release.zip
cd rocketmq-4.9.4

三、集群架构设计

在单机部署集群时，我们需要模拟多节点环境。典型的RocketMQ集群包含以下角色：

3.1 NameServer集群

• 建议部署2-3个节点
• 无状态服务，节点间不通信

3.2 Broker集群

• 采用主从架构（2m-2s）
• 每个Broker组包含1个Master和1个Slave
• 不同Broker组分布在不同的节点上

四、详细部署步骤

4.1 配置NameServer

创建多个NameServer配置文件，以模拟集群环境：

# 创建NameServer1配置
mkdir -p /tmp/rocketmq/namesrv1/conf
echo "listenPort=9876" > /tmp/rocketmq/namesrv1/conf/namesrv.properties
# 创建NameServer2配置
mkdir -p /tmp/rocketmq/namesrv2/conf
echo "listenPort=9877" > /tmp/rocketmq/namesrv2/conf/namesrv.properties

4.2 配置Broker集群

我们以2m-2s架构为例，配置两个Broker组：

4.2.1 Broker组1配置

Master节点配置（broker-a.properties）：

brokerClusterName=DefaultCluster
brokerName=broker-a
brokerId=0
deleteWhen=04
fileReservedTime=48
brokerRole=SYNC_MASTER
flushDiskType=ASYNC_FLUSH
listenPort=10911
storePathRootDir=/tmp/rocketmq/store-a
storePathCommitLog=/tmp/rocketmq/store-a/commitlog
namesrvAddr=127.0.0.1:9876;127.0.0.1:9877

Slave节点配置（broker-a-s.properties）：

brokerClusterName=DefaultCluster
brokerName=broker-a
brokerId=1
deleteWhen=04
fileReservedTime=48
brokerRole=SLAVE
flushDiskType=ASYNC_FLUSH
listenPort=11011
storePathRootDir=/tmp/rocketmq/store-a-s
storePathCommitLog=/tmp/rocketmq/store-a-s/commitlog
namesrvAddr=127.0.0.1:9876;127.0.0.1:9877

4.2.2 Broker组2配置

类似地配置broker-b和broker-b-s。

4.3 启动集群

4.3.1 启动NameServer

nohup sh bin/mqnamesrv -c /tmp/rocketmq/namesrv1/conf/namesrv.properties > /tmp/namesrv1.log 2>&1 &
nohup sh bin/mqnamesrv -c /tmp/rocketmq/namesrv2/conf/namesrv.properties > /tmp/namesrv2.log 2>&1 &

4.3.2 启动Broker

# 启动Broker组1
nohup sh bin/mqbroker -c /tmp/rocketmq/conf/broker-a.properties > /tmp/broker-a.log 2>&1 &
nohup sh bin/mqbroker -c /tmp/rocketmq/conf/broker-a-s.properties > /tmp/broker-a-s.log 2>&1 &
# 启动Broker组2
nohup sh bin/mqbroker -c /tmp/rocketmq/conf/broker-b.properties > /tmp/broker-b.log 2>&1 &
nohup sh bin/mqbroker -c /tmp/rocketmq/conf/broker-b-s.properties > /tmp/broker-b-s.log 2>&1 &

五、集群验证

5.1 查看进程状态

jps -l | grep -E 'NamesrvStartup|BrokerStartup'

5.2 使用管理工具验证

sh bin/mqadmin clusterList -n 127.0.0.1:9876

5.3 测试消息发送/接收

# 发送消息
sh bin/tools.sh org.apache.rocketmq.example.quickstart.Producer
# 接收消息
sh bin/tools.sh org.apache.rocketmq.example.quickstart.Consumer

六、常见问题与解决方案

6.1 端口冲突问题

• 解决方案：确保各Broker和NameServer使用不同端口

6.2 内存不足问题

• 解决方案：修改bin/runserver.sh和bin/runbroker.sh中的JVM参数

6.3 磁盘空间不足

• 解决方案：定期清理过期日志或增加存储路径容量

七、性能优化建议

1. JVM调优：根据机器配置调整Broker的JVM参数
2. 刷盘策略：对可靠性要求高的场景使用SYNC_FLUSH
3. 线程配置：调整sendMessageThreadPoolNums等线程池参数
4. 文件预分配：开启transientStorePoolEnable提升写入性能

八、总结

通过本文的详细指导，开发者可以在单机环境下成功部署RocketMQ集群，模拟真实生产环境进行开发和测试。这种部署方式虽然不能完全替代分布式部署，但对于学习RocketMQ原理、开发测试以及小型项目验证都具有重要价值。在实际应用中，建议根据业务需求灵活调整配置参数，以达到最佳性能。