centos7安装rocketmq集群4.7.1

╰+哭是因爲堅強的太久メ 2022-11-24 14:06 182阅读 0赞

准备4台ecs 安装rocketmq 2m-2s-async

# 机器信息  配置2c4g50g
    192.168.9.51      master1
    192.168.9.52			slave1 of master1
    192.168.9.53			master2
    192.168.9.54			slave1 of master2

修改/etc/hosts 添加如下

192.168.9.51 rocketmq-nameserver1
    192.168.9.51 rocketmq-master1
    192.168.9.52 rocketmq-nameserver2
    192.168.9.52 rocketmq-master2
    192.168.9.53 rocketmq-nameserver3
    192.168.9.53 rocketmq-master3
    192.168.9.54 rocketmq-nameserver4
    192.168.9.54 rocketmq-master4

安装包下载路径

链接: https://pan.baidu.com/s/1PQ-Xwxe4VXjjiEa5JAMAwA 密码: 5w79

安装jdk 1.8

# 将百度云盘的jdk压缩包拷贝到/usr/local下 并执行sh insjdk.sh即可
    cd /usr/local
    sh insjdk.sh

4台统一安装rocketmq

# 我这里把rocketmq解压到了/srv下 公司统一路径
    mkdir /srv
    tar -zxvf rocketmq-all-4.7.1-bin-release.zip -C /srv 
    mv rocketmq-all-4.7.1-bin-release rocketmq-4.7.1
    
    # 创建所需文件夹
    mkdir /srv/rocketmq-4.7.1/store
    mkdir /srv/rocketmq-4.7.1/logs
    mkdir /srv/rocketmq-4.7.1/store/{ commitlog,consumequeue,index}

4台机子 分别修改配置文件

master1的配置文件

# 192.168.9.51 master1
    cat > /srv/rocketmq-4.7.1/conf/2m-2s-async/broker-a.properties <<EOF #所属集群名字 brokerClusterName=rocketmq-cluster #broker名字，注意此处不同的配置文件填写的不一样 例如：在a.properties 文件中写 broker-a 在b.properties 文件中写 broker-b brokerName=broker-a #0 表示 Master，>0 表示 Slave brokerId=0 #nameServer地址，分号分割 如果nameserver是多台集群的话，就用分号分割（即namesrvAddr=ip1:port1;ip2:port2;ip3:port3） namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876;rocketmq-nameserver3:9876;rocketmq-nameserver4:9876 #在发送消息时，自动创建服务器不存在的topic，默认创建的队列数 defaultTopicQueueNums=4 #是否允许 Broker 自动创建Topic，建议线下开启，线上关闭 autoCreateTopicEnable=true #是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭 autoCreateSubscriptionGroup=true #Broker 对外服务的监听端口 listenPort=10911 #删除文件时间点，默认凌晨 4点 deleteWhen=04 #文件保留时间，默认 48 小时 fileReservedTime=120 #commitLog每个文件的大小默认1G mapedFileSizeCommitLog=1073741824 #ConsumeQueue每个文件默认存30W条，根据业务情况调整 mapedFileSizeConsumeQueue=300000 #destroyMapedFileIntervalForcibly=120000 #redeleteHangedFileInterval=120000 #检测物理文件磁盘空间 diskMaxUsedSpaceRatio=88 #存储路径 storePathRootDir=/srv/rocketmq-4.7.1/store #commitLog 存储路径 storePathCommitLog=/srv/rocketmq-4.7.1/store/commitlog #消费队列存储路径存储路径 storePathConsumeQueue=/srv/rocketmq-4.7.1/store/consumequeue #消息索引存储路径 storePathIndex=/srv/rocketmq-4.7.1/store/index #checkpoint 文件存储路径 storeCheckpoint=/srv/rocketmq-4.7.1/store/checkpoint #abort 文件存储路径 abortFile=/srv/rocketmq-4.7.1/store/abort #限制的消息大小 maxMessageSize=65536 #flushCommitLogLeastPages=4 #flushConsumeQueueLeastPages=2 #flushCommitLogThoroughInterval=10000 #flushConsumeQueueThoroughInterval=60000 #Broker 的角色 #- ASYNC_MASTER 异步复制Master #- SYNC_MASTER 同步双写Master #- SLAVE brokerRole=ASYNC_MASTER #刷盘方式 #- ASYNC_FLUSH 异步刷盘 #- SYNC_FLUSH 同步刷盘 flushDiskType=ASYNC_FLUSH #checkTransactionMessageEnable=false #发消息线程池数量 #sendMessageThreadPoolNums=128 #拉消息线程池数量 #pullMessageThreadPoolNums=128 messageDelayLevel=1s 5s 10s 30s 1m 2m 3m 4m 5m 6m 7m 8m 9m 10m 20m 30m 1h 2h 15m 6h 12h 24h 48h 72h 168h EOF

master1的slave的配置文件

# 192.168.9.52 slave1 of master1
    cat > /srv/rocketmq-4.7.1/conf/2m-2s-async/broker-a-s.properties <<EOF #所属集群名字 brokerClusterName=rocketmq-cluster #broker名字，注意此处不同的配置文件填写的不一样 brokerName=broker-a #0 表示 Master，>0 表示 Slave brokerId=1 #nameServer地址，分号分割 namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876;rocketmq-nameserver3:9876;rocketmq-nameserver4:9876 #在发送消息时，自动创建服务器不存在的topic，默认创建的队列数 defaultTopicQueueNums=4 #是否允许 Broker 自动创建Topic，建议线下开启，线上关闭 autoCreateTopicEnable=true #是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭 autoCreateSubscriptionGroup=true #Broker 对外服务的监听端口 listenPort=10911 #删除文件时间点，默认凌晨 4点 deleteWhen=04 #文件保留时间，默认 48 小时 fileReservedTime=120 #commitLog每个文件的大小默认1G mapedFileSizeCommitLog=1073741824 #ConsumeQueue每个文件默认存30W条，根据业务情况调整 mapedFileSizeConsumeQueue=300000 #destroyMapedFileIntervalForcibly=120000 #redeleteHangedFileInterval=120000 #检测物理文件磁盘空间 diskMaxUsedSpaceRatio=88 #存储路径 storePathRootDir=/srv/rocketmq-4.7.1/store #commitLog 存储路径 storePathCommitLog=/srv/rocketmq-4.7.1/store/commitlog #消费队列存储路径存储路径 storePathConsumeQueue=/srv/rocketmq-4.7.1/store/consumequeue #消息索引存储路径 storePathIndex=/srv/rocketmq-4.7.1/store/index #checkpoint 文件存储路径 storeCheckpoint=/srv/rocketmq-4.7.1/store/checkpoint #abort 文件存储路径 abortFile=/srv/rocketmq-4.7.1/store/abort #限制的消息大小 maxMessageSize=65536 #flushCommitLogLeastPages=4 #flushConsumeQueueLeastPages=2 #flushCommitLogThoroughInterval=10000 #flushConsumeQueueThoroughInterval=60000 #Broker 的角色 #- ASYNC_MASTER 异步复制Master #- SYNC_MASTER 同步双写Master #- SLAVE brokerRole=SLAVE #刷盘方式 #- ASYNC_FLUSH 异步刷盘 #- SYNC_FLUSH 同步刷盘 flushDiskType=ASYNC_FLUSH #checkTransactionMessageEnable=false #发消息线程池数量 #sendMessageThreadPoolNums=128 #拉消息线程池数量 #pullMessageThreadPoolNums=128 messageDelayLevel=1s 5s 10s 30s 1m 2m 3m 4m 5m 6m 7m 8m 9m 10m 20m 30m 1h 2h 15m 6h 12h 24h 48h 72h 168h EOF

master2的配置文件

# 192.168.9.53 master2
    cat > /srv/rocketmq-4.7.1/conf/2m-2s-async/broker-b.properties <<EOF #所属集群名字 brokerClusterName=rocketmq-cluster #broker名字，注意此处不同的配置文件填写的不一样 brokerName=broker-b #0 表示 Master，>0 表示 Slave brokerId=0 #nameServer地址，分号分割 namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876;rocketmq-nameserver3:9876;rocketmq-nameserver4:9876 #在发送消息时，自动创建服务器不存在的topic，默认创建的队列数 defaultTopicQueueNums=4 #是否允许 Broker 自动创建Topic，建议线下开启，线上关闭 autoCreateTopicEnable=true #是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭 autoCreateSubscriptionGroup=true #Broker 对外服务的监听端口 listenPort=10911 #删除文件时间点，默认凌晨 4点 deleteWhen=04 #文件保留时间，默认 48 小时 fileReservedTime=120 #commitLog每个文件的大小默认1G mapedFileSizeCommitLog=1073741824 #ConsumeQueue每个文件默认存30W条，根据业务情况调整 mapedFileSizeConsumeQueue=300000 #destroyMapedFileIntervalForcibly=120000 #redeleteHangedFileInterval=120000 #检测物理文件磁盘空间 diskMaxUsedSpaceRatio=88 #存储路径 storePathRootDir=/srv/rocketmq-4.7.1/store #commitLog 存储路径 storePathCommitLog=/srv/rocketmq-4.7.1/store/commitlog #消费队列存储路径存储路径 storePathConsumeQueue=/srv/rocketmq-4.7.1/store/consumequeue #消息索引存储路径 storePathIndex=/srv/rocketmq-4.7.1/store/index #checkpoint 文件存储路径 storeCheckpoint=/srv/rocketmq-4.7.1/store/checkpoint #abort 文件存储路径 abortFile=/srv/rocketmq-4.7.1/store/abort #限制的消息大小 maxMessageSize=65536 #flushCommitLogLeastPages=4 #flushConsumeQueueLeastPages=2 #flushCommitLogThoroughInterval=10000 #flushConsumeQueueThoroughInterval=60000 #Broker 的角色 #- ASYNC_MASTER 异步复制Master #- SYNC_MASTER 同步双写Master #- SLAVE brokerRole=ASYNC_MASTER #刷盘方式 #- ASYNC_FLUSH 异步刷盘 #- SYNC_FLUSH 同步刷盘 flushDiskType=ASYNC_FLUSH #checkTransactionMessageEnable=false #发消息线程池数量 #sendMessageThreadPoolNums=128 #拉消息线程池数量 #pullMessageThreadPoolNums=128 messageDelayLevel=1s 5s 10s 30s 1m 2m 3m 4m 5m 6m 7m 8m 9m 10m 20m 30m 1h 2h 15m 6h 12h 24h 48h 72h 168h EOF

master2的slave的配置文件

# 192.168.9.54 slave1 of master2
    cat > /srv/rocketmq-4.7.1/conf/2m-2s-async/broker-b-s.properties <<EOF #所属集群名字 brokerClusterName=rocketmq-cluster #broker名字，注意此处不同的配置文件填写的不一样 brokerName=broker-b #0 表示 Master，>0 表示 Slave brokerId=1 #nameServer地址，分号分割 namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876;rocketmq-nameserver3:9876;rocketmq-nameserver4:9876 #在发送消息时，自动创建服务器不存在的topic，默认创建的队列数 defaultTopicQueueNums=4 #是否允许 Broker 自动创建Topic，建议线下开启，线上关闭 autoCreateTopicEnable=true #是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭 autoCreateSubscriptionGroup=true #Broker 对外服务的监听端口 listenPort=10911 #删除文件时间点，默认凌晨 4点 deleteWhen=04 #文件保留时间，默认 48 小时 fileReservedTime=120 #commitLog每个文件的大小默认1G mapedFileSizeCommitLog=1073741824 #ConsumeQueue每个文件默认存30W条，根据业务情况调整 mapedFileSizeConsumeQueue=300000 #destroyMapedFileIntervalForcibly=120000 #redeleteHangedFileInterval=120000 #检测物理文件磁盘空间 diskMaxUsedSpaceRatio=88 #存储路径 storePathRootDir=/srv/rocketmq-4.7.1/store #commitLog 存储路径 storePathCommitLog=/srv/rocketmq-4.7.1/store/commitlog #消费队列存储路径存储路径 storePathConsumeQueue=/srv/rocketmq-4.7.1/store/consumequeue #消息索引存储路径 storePathIndex=/srv/rocketmq-4.7.1/store/index #checkpoint 文件存储路径 storeCheckpoint=/srv/rocketmq-4.7.1/store/checkpoint #abort 文件存储路径 abortFile=/srv/rocketmq-4.7.1/store/abort #限制的消息大小 maxMessageSize=65536 #flushCommitLogLeastPages=4 #flushConsumeQueueLeastPages=2 #flushCommitLogThoroughInterval=10000 #flushConsumeQueueThoroughInterval=60000 #Broker 的角色 #- ASYNC_MASTER 异步复制Master #- SYNC_MASTER 同步双写Master #- SLAVE brokerRole=SLAVE #刷盘方式 #- ASYNC_FLUSH 异步刷盘 #- SYNC_FLUSH 同步刷盘 flushDiskType=ASYNC_FLUSH #checkTransactionMessageEnable=false #发消息线程池数量 #sendMessageThreadPoolNums=128 #拉消息线程池数量 #pullMessageThreadPoolNums=128 messageDelayLevel=1s 5s 10s 30s 1m 2m 3m 4m 5m 6m 7m 8m 9m 10m 20m 30m 1h 2h 15m 6h 12h 24h 48h 72h 168h EOF

修改日志文件配置

# 替换conf下所有的*xml文件里"${user.home}"替换为"/srv/rocketmq-4.7.1"
    cd /srv/rocketmq-4.7.1/conf
    sed -i  's/${user.home}/\/srv\/rocketmq-4.7.1/g' *.xml

修改启动脚本

# 直接用网盘里的文件覆盖也可以
    # /usr/local/rocketmq/bin/runbroker.sh
    # 修改JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn512M
    
    # /usr/local/rocketmq/bin/runserver.sh
    # 修改JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn512M

4台机子都启动NameSever

cd /srv/rocketmq-4.7.1/bin/
    nohup sh mqnamesrv &
    # 启动完成之后 会开启9876端口
    netstat -luntp |grep 9876

# 启动master1 192.168.9.51
    cd /srv/rocketmq-4.7.1/bin/
    nohup sh mqbroker -c /srv/rocketmq-4.7.1/conf/2m-2s-async/broker-a.properties >broker-a.log  &
    
    # 启动slave1 of master1 192.168.9.52
    cd /srv/rocketmq-4.7.1/bin/
    nohup sh mqbroker -c /srv/rocketmq-4.7.1/conf/2m-2s-async/broker-a-s.properties > broker-a-s.log &
    
    # 启动master2 192.168.9.53
    cd /srv/rocketmq-4.7.1/bin/
    nohup sh mqbroker -c ../conf/2m-2s-async/broker-b.properties > broker-b.log &
    
    # 启动slave1 of master2 192.168.9.54
    cd /srv/rocketmq-4.7.1/bin/
    nohup sh mqbroker -c ../conf/2m-2s-async/broker-b-s.properties > broker-b-s.log &

查看集群状态 也可以看rocketmq版本号

/srv/rocketmq-4.7.1/bin/mqadmin clusterlist -n localhost:9876

![format_png][]

四台机子查看jps

jps
    # 需要有NameSeverStartup和BrockerStartup

![format_png 1][]

安装控制台应用

需要用mvn 编译 直接在master1上启动网盘里的jar就可以了

# 默认访问master01 上的8080端口 
    # 可添加参数--server.port=12580 --rocketmq.config.namesrvAddr=192.168.2.33:9876 等等
    nohup  java -jar rocketmq-console-ng-1.0.1.jar  &

![format_png 2][]

连接集群方式

# name-server: 192.168.9.51:9876;192.168.9.52:9876;192.168.9.53:9876;192.168.9.54:9876
    # accesskey 及规则的配置文件 plain_acl.yml

参考

https://blog.csdn.net/ssaiwey/article/details/104472770

https://www.cnblogs.com/kevingrace/p/9015836.html

[format_png]: /images/20221124/bb350529529142e08346836c7ad98882.png
[format_png 1]: /images/20221124/aa5f7a60b83d4d609de34f8582238f05.png
[format_png 2]: /images/20221124/6d0a76259c68451cb776dd1cdf0d623d.png