RocketMQ學習筆記（4）----RocketMQ搭建雙Master集羣

前面已經學習了RockeMQ的四種集羣方式，接下來就來搭建一個雙Master(2m)的集羣環境。

1. 雙Master服務器環境

序號　　　　ip　　　　　　用戶名　　　　密碼　　　　　　　　角色　　　　　　　　　　　　模式

(1)　　　47.105.145.123　　root　　　　　　　　　　nameServer1,brokerServer1　　　　 Master1

(2)　　　47.105.149.61　　root　　　　　　　　　　  nameServer2,brokerServer2　　　　  Master2

2. 修改hosts環境

　　兩臺機器同時修改：vim /etc/hosts

　　

　　重啓網卡：service network restart

　　在ip123上ping 47.105.149.61, nameServer2,brokerServer2。在61上也同理：

　　

3. 安裝RocketMQ

　　從官網上下載RocketMQ,官網地址：http://rocketmq.apache.org/

　　解壓到：/usr/local/middle/下，兩臺機器同樣。

　　

2. 建立數據存儲路徑（兩臺機器都要建立）

　　建立文件夾。以下

mkdir /usr/local/middle/rocketmq/data
#commitLog 存儲路徑
mkdir /usr/local/middle/rocketmq/data/commitlog #消費隊列存儲路徑存儲路徑 mkdir /usr/local/middle/rocketmq/data/consumequeue #消息索引存儲路徑 mkdir /usr/local/middle/rocketmq/data/index #checkpoint 文件存儲路徑 mkdir /usr/local/middle/rocketmq/data/checkpoint #abort 文件存儲路徑 mkdir /usr/local/middle/rocketmq/data/abort

 

4. 修改RocketMQ的配置文件:broker-a.properties  broker-b.properties

　　配置文件位置：cd /usr/local/middle/rocketmq/conf/2m-noslave/

　　

　　由於有兩個master主節點，因此主節點1啓動依賴broker-a.properties，主節點2啓動依賴broker-b.properties，若是是三個Master，那麼還會有一個broker-c.properties，以此類推

# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements.  See the NOTICE file distributed with
# this work for additional information regarding copyright ownership. # The ASF licenses this file to You under the Apache License, Version 2.0 # (the "License"); you may not use this file except in compliance with # the License. You may obtain a copy of the License at # # http://www.apache.org/licenses/LICENSE-2.0 # # Unless required by applicable law or agreed to in writing, software # distributed under the License is distributed on an "AS IS" BASIS, # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. # See the License for the specific language governing permissions and # limitations under the License. #所屬集羣名字 brokerClusterName=rocketmq-cluster #broker名字，注意此處不一樣的配置文件填寫的不同 brokerName=broker-a|broker-b #0 表示 Master， >0 表示 Slave brokerId=0 #nameServer地址，分號分割 namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876 #在發送消息時，自動建立服務器不存在的topic，默認建立的隊列數 defaultTopicQueueNums=4 #是否容許 Broker 自動建立Topic，建議線下開啓，線上關閉 autoCreateTopicEnable=true #是否容許 Broker 自動建立訂閱組，建議線下開啓，線上關閉 autoCreateSubscriptionGroup=true #Broker 對外服務的監聽端口 listenPort=10911 #刪除文件時間點，默認凌晨 0點 deleteWhen=00 #文件保留時間，默認 48 小時 fileReservedTime=120 #commitLog每一個文件的大小默認1G mapedFileSizeCommitLog=1073741824 #ConsumeQueue每一個文件默認存30W條，根據業務狀況調整 mapedFileSizeConsumeQueue=300000 #destroyMapedFileIntervalForcibly=120000 #redeleteHangedFileInterval=120000 #檢測物理文件磁盤空間 diskMaxUsedSpaceRatio=88 #存儲路徑 storePathRootDir=/usr/local/middle/rocketmq/data #commitLog 存儲路徑 storePathCommitLog=/usr/local/middle/rocketmq/data/commitlog #消費隊列存儲路徑存儲路徑 storePathConsumeQueue=/usr/local/middle/rocketmq/data/consumequeue #消息索引存儲路徑 storePathIndex=/usr/local/middle/rocketmq/data/index #checkpoint 文件存儲路徑 storeCheckpoint=/usr/local/middle/rocketmq/data/checkpoint #abort 文件存儲路徑 abortFile=/usr/local/middle/rocketmq/data/abort #限制的消息大小 maxMessageSize=65536 #flushCommitLogLeastPages=4 #flushConsumeQueueLeastPages=2 #flushCommitLogThoroughInterval=10000 #flushConsumeQueueThoroughInterval=60000 #Broker 的角色 #- ASYNC_MASTER 異步複製Master #- SYNC_MASTER 同步雙寫Master #- SLAVE brokerRole=ASYNC_MASTER #刷盤方式 #- ASYNC_FLUSH 異步刷盤 #- SYNC_FLUSH 同步刷盤 flushDiskType=ASYNC_FLUSH #checkTransactionMessageEnable=false #發消息線程池數量 #sendMessageThreadPoolNums=128 #拉消息線程池數量 #pullMessageThreadPoolNums=128　

rokerId=0表示是master，大於0則表示是slave；

另外BrokerName=broker-a要對應；在34機器上是broker-a，在第二臺機器37上則是broker-b。分別在34和37上修改broker-a.properties和broker-b.properties。

namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876。這個要和以前配置的名稱相互對應。

對外服務的通訊端口是9876。

文件默認大小是1G，當寫滿後再自動建立。#commitLog每一個文件的大小默認1G

 5. 修改日誌配置文件

在rocketmq文件夾下建立一個logs目錄 mkdir /usr/local/middle/rocketmq/logs

而後執行cd /usr/local/middle/rocketmq/conf && sed -i 's#${user.home}#/usr/local/middle/rocketmq#g' *.xml進行日誌文件的替換，sed是linux的替換命令。兩臺機器一樣操做。

6. 修改啓動腳本參數（JVM參數的調優）　

　　兩臺機器都要改，由於咱們以前將nameServer和broker放在了同一臺機器上，因此須要分別對nameServer和broker進行jvm的性能調優。生產環境默認便可不要修改。

　　1）broker的調優

　　vim /usr/local/middle/rocketmq/bin/runbroker.sh

　　JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn512m - XX:PermSize=128m -XX:MaxPermSize=320m"

　　2）nameserver的調優

　　vim /usr/local/middle/rocketmq/bin/runserver.sh

　　JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn512m - XX:PermSize=128m -XX:MaxPermSize=320m"

7. 啓動nameserver

　　啓動兩臺機器的NameServer：先啓動兩臺機器的NameServer，再啓動兩臺機器的Borker，關機的時候順序相反，先關閉兩臺機器的Broker，再關閉兩臺機器的Nameserver。　

　　cd /usr/local/middle/rocketmq/bi

　　nohup sh mqnamesrv &

　　上面這條命令nohup是起一個守護線程。

　　jps 查看進程

　　

八、啓動BrokerServer A 和BrokerServer B 

　　Broker A （ip後爲123）

　　nohup sh mqbroker -c /usr/local/middle/rocketmq/conf/2m-noslave/broker-a.properties >/dev/null 2>&1 &

　　Broker B（ip後爲61） 

　　nohup sh mqbroker -c /usr/local/middle/rocketmq/conf/2m-noslave/broker-a.properties >/dev/null 2>&1 &

　　使用jps 查看進程：

　　

　　查看broker的日誌

　　這樣就表示每臺機器的nameserver和broker都成功啓動，且集羣成功鏈接。

9. 關閉nameserver和broker

　　先關閉broker

　　sh mqshutdown broker

　　在關閉nameserver

　　sh mqshutdown namesrv

　　

原文 RocketMQ學習筆記（4）----RocketMQ搭建雙Master集羣