RocketMQ學習筆記（4）----RocketMQ搭建雙Master集羣

前面已經學習了RockeMQ的四種集羣方式，接下來就來搭建一個雙Master(2m)的集羣環境。

1. 雙Master服務器環境

序號　　　　ip　　　　　　用戶名　　　　密碼　　　　　　　　角色　　　　　　　　　　　　模式

(1)　　　47.105.145.123　　root　　　　　　　　　　nameServer1,brokerServer1　　　　 Master1

(2)　　　47.105.149.61　　root　　　　　　　　　　  nameServer2,brokerServer2　　　　  Master2

2. 修改hosts環境

　　兩臺機器同時修改：vim /etc/hosts

　　

　　重啓網卡：service network restart

　　在ip123上ping 47.105.149.61, nameServer2,brokerServer2。在61上也同理：

　　

3. 安裝RocketMQ

　　從官網上下載RocketMQ,官網地址：http://rocketmq.apache.org/

　　解壓到：/usr/local/middle/下，兩臺機器同樣。

　　

2. 建立數據存儲路徑（兩臺機器都要建立）

　　建立文件夾。以下

mkdir /usr/local/middle/rocketmq/data
#commitLog 存儲路徑
mkdir /usr/local/middle/rocketmq/data/commitlog
#消費隊列存儲路徑存儲路徑
mkdir /usr/local/middle/rocketmq/data/consumequeue
#消息索引存儲路徑
mkdir /usr/local/middle/rocketmq/data/index
#checkpoint 文件存儲路徑
mkdir /usr/local/middle/rocketmq/data/checkpoint
#abort 文件存儲路徑
mkdir /usr/local/middle/rocketmq/data/abort

 

4. 修改RocketMQ的配置文件:broker-a.properties  broker-b.properties

　　配置文件位置：cd /usr/local/middle/rocketmq/conf/2m-noslave/

　　

　　由於有兩個master主節點，因此主節點1啓動依賴broker-a.properties，主節點2啓動依賴broker-b.properties，若是是三個Master，那麼還會有一個broker-c.properties，以此類推

# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements.  See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License.  You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
#所屬集羣名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此處不一樣的配置文件填寫的不同
brokerName=broker-a|broker-b
#0 表示 Master， >0 表示 Slave
brokerId=0
#nameServer地址，分號分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在發送消息時，自動建立服務器不存在的topic，默認建立的隊列數
defaultTopicQueueNums=4
#是否容許 Broker 自動建立Topic，建議線下開啓，線上關閉
autoCreateTopicEnable=true
#是否容許 Broker 自動建立訂閱組，建議線下開啓，線上關閉
autoCreateSubscriptionGroup=true
#Broker 對外服務的監聽端口
listenPort=10911
#刪除文件時間點，默認凌晨 0點
deleteWhen=00
#文件保留時間，默認 48 小時
fileReservedTime=120
#commitLog每一個文件的大小默認1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每一個文件默認存30W條，根據業務狀況調整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#檢測物理文件磁盤空間
diskMaxUsedSpaceRatio=88
#存儲路徑
storePathRootDir=/usr/local/middle/rocketmq/data
#commitLog 存儲路徑
storePathCommitLog=/usr/local/middle/rocketmq/data/commitlog
#消費隊列存儲路徑存儲路徑
storePathConsumeQueue=/usr/local/middle/rocketmq/data/consumequeue
#消息索引存儲路徑
storePathIndex=/usr/local/middle/rocketmq/data/index
#checkpoint 文件存儲路徑
storeCheckpoint=/usr/local/middle/rocketmq/data/checkpoint
#abort 文件存儲路徑
abortFile=/usr/local/middle/rocketmq/data/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 異步複製Master
#- SYNC_MASTER 同步雙寫Master
#- SLAVE
brokerRole=ASYNC_MASTER
#刷盤方式
#- ASYNC_FLUSH 異步刷盤
#- SYNC_FLUSH 同步刷盤
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#發消息線程池數量
#sendMessageThreadPoolNums=128
#拉消息線程池數量
#pullMessageThreadPoolNums=128　

rokerId=0表示是master，大於0則表示是slave；

另外BrokerName=broker-a要對應；在34機器上是broker-a，在第二臺機器37上則是broker-b。分別在34和37上修改broker-a.properties和broker-b.properties。

namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876。這個要和以前配置的名稱相互對應。

對外服務的通訊端口是9876。

文件默認大小是1G，當寫滿後再自動建立。#commitLog每一個文件的大小默認1G

 5. 修改日誌配置文件

在rocketmq文件夾下建立一個logs目錄 mkdir /usr/local/middle/rocketmq/logs

而後執行cd /usr/local/middle/rocketmq/conf && sed -i 's#${user.home}#/usr/local/middle/rocketmq#g' *.xml進行日誌文件的替換，sed是linux的替換命令。兩臺機器一樣操做。

6. 修改啓動腳本參數（JVM參數的調優）　

　　兩臺機器都要改，由於咱們以前將nameServer和broker放在了同一臺機器上，因此須要分別對nameServer和broker進行jvm的性能調優。生產環境默認便可不要修改。

　　1）broker的調優

　　vim /usr/local/middle/rocketmq/bin/runbroker.sh

　　JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn512m - XX:PermSize=128m -XX:MaxPermSize=320m"

　　2）nameserver的調優

　　vim /usr/local/middle/rocketmq/bin/runserver.sh

　　JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn512m - XX:PermSize=128m -XX:MaxPermSize=320m"

7. 啓動nameserver

　　啓動兩臺機器的NameServer：先啓動兩臺機器的NameServer，再啓動兩臺機器的Borker，關機的時候順序相反，先關閉兩臺機器的Broker，再關閉兩臺機器的Nameserver。　

　　cd /usr/local/middle/rocketmq/bi

　　nohup sh mqnamesrv &

　　上面這條命令nohup是起一個守護線程。

　　jps 查看進程

　　

八、啓動BrokerServer A 和BrokerServer B 

　　Broker A （ip後爲123）

　　nohup sh mqbroker -c /usr/local/middle/rocketmq/conf/2m-noslave/broker-a.properties >/dev/null 2>&1 &

　　Broker B（ip後爲61） 

　　nohup sh mqbroker -c /usr/local/middle/rocketmq/conf/2m-noslave/broker-a.properties >/dev/null 2>&1 &

　　使用jps 查看進程：

　　

　　查看broker的日誌

　　這樣就表示每臺機器的nameserver和broker都成功啓動，且集羣成功鏈接。

9. 關閉nameserver和broker

　　先關閉broker

　　sh mqshutdown broker

　　在關閉nameserver

　　sh mqshutdown namesrv