RocketMQ 簡單梳理及集羣部署筆記

時間 2019-11-10

原文原文鏈接

1、RocketMQ 基礎知識介紹
Apache RocketMQ是阿里開源的一款高性能、高吞吐量、隊列模型的消息中間件的分佈式消息中間件。html

上圖是一個典型的消息中間件收發消息的模型，RocketMQ也是這樣的設計，簡單說來
RocketMQ具備如下特色：
1）是一個隊列模型的消息中間件，具備高性能、高可靠、高實時、分佈式特色。
2）Producer、Consumer、隊列均可以分佈式。
3）Producer向一些隊列輪流發送消息，隊列集合稱爲Topic，Consumer若是作廣播消費，則一個consumer實例消費這個Topic對應的全部隊列，若是作集羣消費，則多個Consumer實例平均消費這個topic對應的隊列集合。
4）支持嚴格的消息順序；
5）提供豐富的消息拉取模式
6）高效的訂閱者水平擴展能力
7）實時的消息訂閱機制
8）億級消息堆積能力
9）較少的依賴
10）支持Topic與Queue兩種模式；
11）同時支持Push與Pull方式消費消息；前端

消息隊列的應用場景
1）異步處理
將不是必須的業務邏輯，進行異步處理，好比註冊以後短信、郵箱的發送java

2）應用解耦
訂單系統：用戶下單後，訂單系統完成持久化處理，將消息寫入消息隊列，返回用戶訂單下單成功。
庫存系統：訂閱下單的消息，採用拉/推的方式，獲取下單信息，庫存系統根據下單信息，進行庫存操做。
假如：在下單時庫存系統不能正常使用。也不影響正常下單，由於下單後，訂單系統寫入消息隊列就再也不關心其餘的後續操做了。實現訂單系統與庫存系統的應用解耦。linux

3）流量削鋒，也是消息隊列中的經常使用場景，通常在秒殺或團搶活動中使用普遍。
應用場景：秒殺活動，通常會由於流量過大，致使流量暴增，應用掛掉。爲解決這個問題，通常須要在應用前端加入消息隊列。
a）能夠控制活動的人數；
b）能夠緩解短期內高流量壓垮應用；
c）用戶的請求，服務器接收後，首先寫入消息隊列。假如消息隊列長度超過最大數量，則直接拋棄用戶請求或跳轉到錯誤頁面；
d）秒殺業務根據消息隊列中的請求信息，再作後續處理。git

4）日誌處理github

5）消息通信
消息通信是指，消息隊列通常都內置了高效的通訊機制，所以也能夠用在純的消息通信。好比實現點對點消息隊列，或者聊天室等。web

6）性能
RocketMQ單機也能夠支持億級的消息堆積能力。單機寫入TPS單實例約7萬條/秒，單機部署3個Broker，能夠跑到最高12萬條/秒，消息大小10個字節spring

RocketMQ 物理部署結構apache

如上圖所示， RocketMQ的部署結構有如下特色：
1）Name Server 可集羣部署，節點之間無任何信息同步。
2）Broker(消息中轉角色，負責存儲消息，轉發消息) 部署相對複雜，Broker 分爲Master 與Slave，一個Master 能夠對應多個Slave，可是一個Slave 只能對應一個Master，Master 與Slave 的對應關係經過指定相同的BrokerName，不一樣的BrokerId來定義，BrokerId爲0 表示Master，非0 表示Slave。Master 也能夠部署多個。
3）Producer 與Name Server 集羣中的其中一個節點（隨機選擇）創建長鏈接，按期從Name Server 取Topic 路由信息，並向提供Topic 服務的Master 創建長鏈接，且定時向Master 發送心跳。Producer 徹底無狀態，可集羣部署。
4）Consumer 與Name Server 集羣中的其中一個節點（隨機選擇）創建長鏈接，按期從Name Server 取Topic 路由信息，並向提供Topic 服務的Master、Slave 創建長鏈接，且定時向Master、Slave 發送心跳。Consumer既能夠從Master 訂閱消息，也能夠從Slave 訂閱消息，訂閱規則由Broker 配置決定。json

Broker：消息中轉角色，負責存儲消息，轉發消息
Broker集羣有多種配置方式：
1）單Master
優勢：除了配置簡單沒什麼優勢
缺點：不可靠，該機器重啓或宕機，將致使整個服務不可用
2）多Master
優勢：配置簡單，性能最高
缺點：可能會有少許消息丟失（配置相關），單臺機器重啓或宕機期間，該機器下未被消費的消息在機器恢復前不可訂閱，影響消息實時性
3）多Master多Slave，每一個Master配一個Slave，有多對Master-Slave，集羣採用異步複製方式，主備有短暫消息延遲，毫秒級
優勢：性能同多Master幾乎同樣，實時性高，主備間切換對應用透明，不需人工干預
缺點：Master宕機或磁盤損壞時會有少許消息丟失
4）多Master多Slave，每一個Master配一個Slave，有多對Master-Slave，集羣採用同步雙寫方式，主備都寫成功，嚮應用返回成功
優勢：服務可用性與數據可用性很是高
缺點：性能比異步集羣略低，當前版本主宕備不能自動切換爲主

Master和Slave的配置文件參考conf目錄下的配置文件
Master與Slave經過指定相同的brokerName參數來配對，Master的BrokerId必須是0，Slave的BrokerId必須是大於0的數。
一個Master下面能夠掛載多個Slave，同一Master下的多個Slave經過指定不一樣的BrokerId來區分。

Rocketmq默認給出了三種建議配置模式: 2m-2s-async(主從異步); 2m-2s-sync(主從同步); 2m-noslave(僅master)

7）消息重試

MQ 消費者的消費邏輯失敗時，能夠經過設置返回狀態達到消息重試的結果。
MQ 消息重試只針對集羣消費方式生效；廣播方式不提供失敗重試特性，即消費失敗後，失敗消息再也不重試，繼續消費新的消息。

重試次數
MQ 默認容許每條消息最多重試 16 次，每次重試的間隔時間以下：

若是消息重試 16 次後仍然失敗，消息將再也不投遞。若是嚴格按照上述重試時間間隔計算，某條消息在一直消費失敗的前提下，將會在接下來的 4 小時 46 分鐘以內進行 16 次重試，超過這個時間範圍消息將再也不重試投遞。
注意： 一條消息不管重試多少次，這些重試消息的 Message ID 不會改變。

配置方式
a）消費失敗後，重試配置方式
集羣消費方式下，消息消費失敗後指望消息重試，須要在消息監聽器接口的實現中明確進行配置（三種方式任選一種）：
- 返回 Action.ReconsumeLater （推薦）
- 返回 Null
- 拋出異常

代碼示例以下：

public class MessageListenerImpl implements MessageListener {
@Override
public Action consume(Message message, ConsumeContext context) {
//方法3：消息處理邏輯拋出異常，消息將重試
doConsumeMessage(message);
//方式1：返回 Action.ReconsumeLater，消息將重試
return Action.ReconsumeLater;
//方式2：返回 null，消息將重試
return null;
//方式3：直接拋出異常， 消息將重試
throw new RuntimeException("Consumer Message exceotion");
}
}

b）消費失敗後，不重試配置方式
集羣消費方式下，消息失敗後指望消息不重試，須要捕獲消費邏輯中可能拋出的異常，最終返回 Action.CommitMessage，此後這條消息將不會再重試。代碼示例以下：

public class MessageListenerImpl implements MessageListener {
@Override
public Action consume(Message message, ConsumeContext context) {
try {
doConsumeMessage(message);
} catch (Throwable e) {
//捕獲消費邏輯中的全部異常，並返回 Action.CommitMessage;
return Action.CommitMessage;
}
//消息處理正常，直接返回 Action.CommitMessage;
return Action.CommitMessage;
}
}

自定義消息最大重試次數
自定義 MQ 客戶端日誌配置，請升級 TCP Java SDK 版本到1.2.2及以上。

MQ 容許 Consumer 啓動的時候設置最大重試次數，重試時間間隔將按照以下策略：
- 最大重試次數小於等於16次，則重試時間間隔同上表描述。
- 最大重試次數大於16次，超過16次的重試時間間隔均爲每次2小時。

配置方式以下：

Properties properties = new Properties();
//配置對應 Consumer ID 的最大消息重試次數爲20 次
properties.put(PropertyKeyConst.MaxReconsumeTimes,"20");
Consumer consumer =ONSFactory.createConsumer(properties);

須要注意：
- 消息最大重試次數的設置對相同 Consumer ID 下的全部 Consumer 實例有效。
- 若是隻對相同 Consumer ID 下兩個 Consumer 實例中的其中一個設置了 MaxReconsumeTimes，那麼該配置對兩個 Consumer 實例均生效。
- 配置採用覆蓋的方式生效，即最後啓動的 Consumer 實例會覆蓋以前的啓動實例的配置。

獲取消息重試次數
消費者收到消息後，可按照以下方式獲取消息的重試次數：

public class MessageListenerImpl implements MessageListener {
@Override
public Action consume(Message message, ConsumeContext context) {
//獲取消息的重試次數
System.out.println(message.getReconsumeTimes());
return Action.CommitMessage;
}
}

2、RocketMQ集羣部署記錄

部署需求（若是是兩臺機器，能夠作一主一從，即broker-a主節點和nameserver在一臺機器，broker-a-s從節點在另外一臺機器），本案例是5臺機器：
準備5臺虛擬機，其中4臺做爲rocektmq broker（雙master 雙slave，同步雙寫，異步刷盤），另1臺用做rocektmq的console（rocketmq監控平臺）和nameserver。
0）基礎信息

ip地址                  主機名                     角色
192.168.10.202         mq-master01              broker-a
192.168.10.203         mq-master02              broker-b
192.168.10.205         mq-slave01               broker-a-s
192.168.10.206         mq-slave02               broker-b-s
192.168.10.207         mq-console-nameserver    nameserver、console
--------------------------------------------------------------------------
其實也能夠不用那麼多機器，2臺機器也能夠，broker-a和broker-b-s在一臺機器（也就是說broker-a的主節點與broker-b的從節點部署在一臺服務器），
broker-a-s和broker-b在一臺機器。nameserver和console部署到2臺中的任一臺上。
--------------------------------------------------------------------------

關閉5臺機器的iptables和selinux（全部節點機器上都要操做）
[root@mq-master01 ~]# /etc/init.d/iptables stop
[root@mq-master01 ~]# vim /etc/sysconfig/selinux
......
SELINUX=disabled
[root@mq-master01 ~]# setenforce 0
[root@mq-master01 ~]# getenforce
Permissive

5臺機器都要安裝統一的java環境（這裏安裝jdk1.8，參考：http://www.cnblogs.com/kevingrace/p/7607442.html）
[root@mq-master01 ~]# java -version
java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)
--------------------------------------------------------------------------

5臺機器必定要提早作hosts綁定，不然後續啓動broker的時候，會報錯諸如：
java.net.UnknownHostException: mq-master01: mq-master01: Name or service not known

[root@mq-master01 bin]# cat /etc/hosts
......
192.168.10.202         mq-master01
192.168.10.203         mq-master02
192.168.10.205         mq-slave01
192.168.10.206         mq-slave02
192.168.10.207         mq-console-nameserver

1）rocektmq broker 雙master雙slave部署

1）安裝rocketmq（四臺broker節點機器操做同樣）
下載地址：https://pan.baidu.com/s/16UAXHwzzy0DoGX4u93vK7A
提取密碼：rjib

[root@mq-master01 software]# pwd
/data/software
[root@mq-master01 software]# unzip rocketmq3.2.6.zip
[root@mq-master01 software]# ln -s /data/software/alibaba-rocketmq3.2.6 /data/rocketmq

建立存儲路徑
[root@mq-master01 software]# mkdir -p /data/rocketmq/store
[root@mq-master01 software]# mkdir -p /data/rocketmq/store/commitlog
[root@mq-master01 software]# mkdir -p /data/rocketmq/store/consumequeue
[root@mq-master01 software]# mkdir -p /data/rocketmq/store/index

[root@mq-master01 software]# ls /data/rocketmq/
benchmark  bin  conf  issues  lib  LICENSE.txt  readme.txt  store  test  wiki
[root@mq-master01 software]# ls /data/rocketmq/store/
commitlog  consumequeue  index
---------------------------------------------------------------------------------
2）配置rocektmq broker （四個節點機器都要操做）

mq-master01節點配置/data/rocketmq/conf/2m-2s-sync/broker-a.properties
[root@mq-master01 ~]# vim /data/rocketmq/conf/2m-2s-sync/broker-a.properties
#所屬集羣名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此處不一樣的配置文件填寫的不同  例如：在a.properties 文件中寫 broker-a  在b.properties 文件中寫 broker-b
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，這裏nameserver是單臺，若是nameserver是多臺集羣的話，就用分號分割（即namesrvAddr=ip1:port1;ip2:port2;ip3:port3）
namesrvAddr=192.168.10.207:9876;
#在發送消息時，自動建立服務器不存在的topic，默認建立的隊列數。因爲是4個broker節點，因此設置爲4
defaultTopicQueueNums=4
#是否容許 Broker 自動建立Topic，建議線下開啓，線上關閉
autoCreateTopicEnable=true
#是否容許 Broker 自動建立訂閱組，建議線下開啓，線上關閉
autoCreateSubscriptionGroup=true
#Broker 對外服務的監聽端口
listenPort=10911
#刪除文件時間點，默認凌晨 4點
deleteWhen=04
#文件保留時間，默認 48 小時
fileReservedTime=120
#commitLog每一個文件的大小默認1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每一個文件默認存30W條，根據業務狀況調整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#檢測物理文件磁盤空間
diskMaxUsedSpaceRatio=88
#存儲路徑
storePathRootDir=/data/rocketmq/store
#commitLog 存儲路徑
storePathCommitLog=/data/rocketmq/store/commitlog
#消費隊列存儲路徑存儲路徑
storePathConsumeQueue=/data/rocketmq/store/consumequeue
#消息索引存儲路徑
storePathIndex=/data/rocketmq/store/index
#checkpoint 文件存儲路徑
storeCheckpoint=/data/rocketmq/store/checkpoint
#abort 文件存儲路徑
abortFile=/data/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 異步複製Master
#- SYNC_MASTER 同步雙寫Master
#- SLAVE
brokerRole=MASTER                       #要配置爲MASTER或SLAVE的角色
#刷盤方式
#- ASYNC_FLUSH 異步刷盤
#- SYNC_FLUSH 同步刷盤
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#發消息線程池數量
#sendMessageThreadPoolNums=128
#拉消息線程池數量
#pullMessageThreadPoolNums=128

mq-master02節點配置的是/data/rocketmq/conf/2m-2s-sync/broker-b.properties      #就下面三行配置不同，其餘配置行都同樣！
[root@mq-master02 software]# vim /data/rocketmq/conf/2m-2s-sync/broker-b.properties      
......
brokerName=broker-b            
brokerId=0
brokerRole=MASTER   

mq-slave01節點配置的是/data/rocketmq/conf/2m-2s-sync/broker-a-s.properties
[root@mq-slave01 software]# vim /data/rocketmq/conf/2m-2s-sync/broker-a-s.properties
......
brokerName=broker-a          #注意這一行的名稱要和master保持一致
brokerId=1                   #這個ID要跟master的不一致！
brokerRole=SLAVE             #要配置爲從

mq-slave02節點配置的是/data/rocketmq/conf/2m-2s-sync/broker-b-s.properties
[root@mq-slave02 software]# vim /data/rocketmq/conf/2m-2s-sync/broker-b-s.properties
......
brokerName=broker-b         #注意這一行的名稱要和master的保持一致
brokerId=1                  #這個ID要跟master的不一致
brokerRole=SLAVE            #要配置爲從
---------------------------------------------------------------------------------
3）修改日誌文件（四個節點機器都要操做）
[root@mq-master01 ~]# mkdir -p /data/rocketmq/logs
[root@mq-master01 ~]# cd /data/rocketmq/conf
[root@mq-master01 conf]# sed -i 's#${user.home}#/data/rocketmq#g' *.xml
---------------------------------------------------------------------------------

2）nameserver 部署（192.168.10.207節點機上操做）

下載地址：https://pan.baidu.com/s/1vPI0eB5f2dQLTai02wA2_w
提取密碼：ytv6
 
[root@mq-console-nameserver ~]# cd /data/software/
[root@mq-console-nameserver ~]# ls
rocketmq_namesrv.zip
[root@mq-console-nameserver software]# unzip rocketmq_namesrv.zip
[root@mq-console-nameserver software]# ln -s /data/software/rocketmq_namesrv /data/rocketmq_namesrv
[root@mq-console-nameserver software]# vim /data/rocketmq_namesrv/conf/namesrv.properties             #該文件只有下面一行內容
stenPort=9876

3）啓動NameServer和BrokerServer

舒適提示：
啓動順序：先啓動NameServer，再啓動BrokerServer（啓動BrokerServer以前先關閉防火牆）
中止順序：先中止BrokerServer，再中止NameServer
 
首先在5個節點機器上設置下rocketmq啓動的java路徑，不然會報錯：
ERROR: Please set the JAVA_HOME variable in your environment, We need java(x64)! !!
（可使用find / -name java找出java的安裝路徑，取出JAVA_HOME路徑）
[root@mq-master01 bin]# vim /data/rocketmq/bin/runbroker.sh
.....
JAVA_HOME=/usr/java/jdk1.8.0_131          #加入這一行

1）首先在192.168.10.207節點機器上啓動NameServer
NameServer默認有一個啓動腳本startNameServer.sh，修改以下：
[root@mq-console-nameserver ~]# cat /data/rocketmq_namesrv/startNameServer.sh 
export JAVA_HOME=/usr/java/jdk1.8.0_131
nohup sh /data/rocketmq_namesrv/alibaba-rocketmq/bin/mqnamesrv -c /data/rocketmq_namesrv/conf/namesrv.properties  > ./nohup.out 2>&1 &

[root@mq-console-nameserver ~]# chmod 755 /data/rocketmq_namesrv/alibaba-rocketmq/bin/*
[root@mq-console-nameserver ~]# sh /data/rocketmq_namesrv/startNameServer.sh
[root@mq-console-nameserver ~]# lsof -i:9876
COMMAND   PID USER   FD   TYPE   DEVICE SIZE/OFF NODE NAME
java    32336 root   49u  IPv6 24559963      0t0  TCP *:sd (LISTEN)

2）接着在四個broker節點機器上啓動BrokerServer
[root@mq-master01 ~]# cd /data/rocketmq/bin
[root@mq-master01 bin]# nohup sh mqbroker -c /data/rocketmq/conf/2m-2s-sync/broker-a.properties >/dev/null 2>&1 &
[root@mq-master01 bin]# ps -ef|grep rocketmq
root      9978  9167  0 17:51 pts/0    00:00:00 sh mqbroker -c /data/rocketmq/conf/2m-2s-sync/broker-a.properties
root      9982  9978  0 17:51 pts/0    00:00:00 sh /data/rocketmq/bin/runbroker.sh com.alibaba.rocketmq.broker.BrokerStartup -c /data/rocketmq/conf/2m-2s-sync/broker-a.properties
root      9985  9982  4 17:51 pts/0    00:00:03 /usr/java/jdk1.8.0_131/bin/java -server -Xms4g -Xmx4g -Xmn2g -XX:PermSize=128m -XX:MaxPermSize=320m -XX:+UseConcMarkSweepGC -XX:+UseCMSCompactAtFullCollection -XX:CMSInitiatingOccupancyFraction=70 -XX:+CMSParallelRemarkEnabled -XX:SoftRefLRUPolicyMSPerMB=0 -XX:+CMSClassUnloadingEnabled -XX:SurvivorRatio=8 -XX:+DisableExplicitGC -verbose:gc -Xloggc:/root/rmq_bk_gc.log -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:-OmitStackTraceInFastThrow -Djava.ext.dirs=/data/rocketmq/bin/../lib -cp .:/data/rocketmq/bin/../conf:.:/lib/dt.jar:/lib/tools.jar com.alibaba.rocketmq.broker.BrokerStartup -c /data/rocketmq/conf/2m-2s-sync/broker-a.properties
root     10039  9167  0 17:52 pts/0    00:00:00 grep rocketmq

[root@mq-master01 bin]# lsof -i:10911          #注意只有master節點的10911端口才能起來，slave節點的10911端口不會起來。
COMMAND  PID USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
java    9985 root   68u  IPv6 7969295      0t0  TCP *:10911 (LISTEN)
[root@mq-master01 bin]# jps
9985 BrokerStartup
10044 Jps
[root@mq-master01 bin]# tail -f -n 500 /data/rocketmq/logs/rocketmqlogs/broker.log
2018-05-09 17:59:57 INFO main - rocketmqHome=/data/rocketmq
2018-05-09 17:59:57 INFO main - namesrvAddr=192.168.10.207:9876;
2018-05-09 17:59:57 INFO main - brokerIP1=192.168.10.202
2018-05-09 17:59:57 INFO main - brokerIP2=192.168.10.202
2018-05-09 17:59:57 INFO main - brokerName=broker-a
........
2018-05-09 19:06:04 INFO main - flushDelayOffsetInterval=10000
2018-05-09 19:06:04 INFO main - cleanFileForciblyEnable=true
2018-05-09 19:06:04 INFO main - user specfied name server address: 192.168.10.207:9876;
2018-05-09 19:06:05 INFO main - load /data/software/rocketmq/store/config/consumerOffset.json OK
2018-05-09 19:06:05 INFO main - load /data/software/rocketmq/store/config/delayOffset.json OK
2018-05-09 19:06:05 INFO PullRequestHoldService - PullRequestHoldService service started
2018-05-09 19:06:05 INFO main - register broker to name server 192.168.10.207:9876 OK
2018-05-09 19:06:05 INFO main - The broker[broker-a, 192.168.10.202:10911] boot success. and name server is 192.168.10.207:9876;
2018-05-09 19:06:15 INFO BrokerControllerScheduledThread1 - slave fall behind master, how much, 0 bytes
2018-05-09 19:06:15 INFO BrokerControllerScheduledThread1 - register broker to name server 192.168.10.207:9876 OK
2018-05-09 19:06:45 INFO BrokerControllerScheduledThread1 - register broker to name server 192.168.10.207:9876 OK
 
其餘三個節點啓動的時候，指定的配置文件分別是broker-b.properties、broker-a-s.properties、broker-b-s.properties。
[root@mq-master02 bin]# nohup sh mqbroker -c /data/rocketmq/conf/2m-2s-sync/broker-b.properties >/dev/null 2>&1 &
[root@mq-slave01 bin]# nohup sh mqbroker -c /data/rocketmq/conf/2m-2s-sync/broker-a-s.properties >/dev/null 2>&1 &
[root@mq-slave02 bin]# nohup sh mqbroker -c /data/rocketmq/conf/2m-2s-sync/broker-b-s.properties >/dev/null 2>&1 &

-----------------------------------------------------------------
中止服務
先中止BrokerServer，再中止NameServer
[root@mq-master01 ~]# cd /data/rocketmq/bin
[root@mq-master01 bin]# sh mqshutdown broker
The mqbroker(10495) is running...
Send shutdown request to mqbroker(10495) OK
[root@mq-master01 bin]# lsof -i:10911
[root@mq-master01 bin]#
 
[root@mq-console-nameserver ~]# cd /data/rocketmq_namesrv/alibaba-rocketmq/bin/
[root@mq-console-nameserver bin]# sh mqshutdown namesrv
The mqnamesrv(32336) is running...
Send shutdown request to mqnamesrv(32336) OK
[root@mq-console-nameserver bin]# lsof -i:9876
[root@mq-console-nameserver bin]#

4）rocketMq監控平臺rocketmq-console部署（192.168.10.207上操做）

rocketmq有一個管理界面叫incubator-rocketmq-externals
百度網盤下載地址：https://pan.baidu.com/s/19PROiNivWBiOIV5NkOBBqA
提取密碼：r1cf
  
也能夠直接git在線下載
[root@mq-console-nameserver ~]# cd /opt
[root@mq-console-nameserver opt]# git clone https://github.com/apache/rocketmq-externals.git
  
作軟連接
[root@mq-console-nameserver opt]# ln -s /opt/rocketmq-externals /data/
[root@mq-console-nameserver opt]# ll /data/rocketmq-externals
lrwxrwxrwx. 1 root root 23 May  9 14:10 /data/rocketmq-externals -> /opt/rocketmq-externals
  
修改配置文件
[root@mq-console-nameserver ~]# vim /data/rocketmq-externals/rocketmq-console/src/main/resources/application.properties
server.contextPath=
server.port=8080                              #默認訪問端口是8080
#spring.application.index=true
spring.application.name=rocketmq-console
spring.http.encoding.charset=UTF-8
spring.http.encoding.enabled=true
spring.http.encoding.force=true
logging.config=classpath:logback.xml
#if this value is empty,use env value rocketmq.config.namesrvAddr  NAMESRV_ADDR | now, you can set it in ops page.default localhost:9876
rocketmq.config.namesrvAddr=192.168.10.207:9876               #若是nameserver是多臺集羣機器，則後面就配置多個ip+port，即"rocketmq.config.namesrvAddr=ip1:port;ip2:port"
#if you use rocketmq version < 3.5.8, rocketmq.config.isVIPChannel should be false.default true
rocketmq.config.isVIPChannel=false                            #注意這個參數，是否設置爲false或true取決於rocketmq的版本號
#rocketmq-console's data path:dashboard/monitor
rocketmq.config.dataPath=/tmp/rocketmq-console/data
#set it false if you don't want use dashboard.default true
rocketmq.config.enableDashBoardCollect=true
 
------------------------------------------------------------------------------------------
舒適提示：
因爲我這裏使用的rocketmq是3.2.6版本，低於3.5.8版本，因此上面的rocketmq.config.isVIPChannel應設置爲false，默認爲true！
Rocket若是開啓了VIP通道，VIP通道端口爲10911-2=10909。若Rocket服務器未啓動端口10909，則報connect to <：10909> failed。
------------------------------------------------------------------------------------------
  
安裝Maven的安裝
[root@mq-console-nameserver ~]# cd /data/software/
[root@mq-console-nameserver software]# wget http://mirrors.hust.edu.cn/apache/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.tar.gz
[root@mq-console-nameserver software]# tar -zvxf apache-maven-3.3.9-bin.tar.gz
[root@mq-console-nameserver software]# mv apache-maven-3.3.9 /usr/local/maven
[root@mq-console-nameserver software]# vim /etc/profile
........
export MAVEN_HOME=/usr/local/maven
export PATH=$PATH:$MAVEN_HOME/bin
[root@mq-console-nameserver software]# source /etc/profile
[root@mq-console-nameserver software]# mvn --version
Apache Maven 3.3.9 (bb52d8502b132ec0a5a3f4c09453c07478323dc5; 2015-11-11T00:41:47+08:00)
Maven home: /usr/local/maven
Java version: 1.8.0_131, vendor: Oracle Corporation
Java home: /usr/java/jdk1.8.0_131/jre
Default locale: en_US, platform encoding: UTF-8
OS name: "linux", version: "2.6.32-696.el6.x86_64", arch: "amd64", family: "unix"
  
接着對rocketmq-console進行編譯打包運行（mvn的編輯過程須要等待一段時間）
[root@mq-console-nameserver ~]# cd /data/rocketmq-externals/rocketmq-console/
[root@mq-console-nameserver rocketmq-console]# mvn clean package -Dmaven.test.skip=true
  
編譯成功後在target下找到文件：rocketmq-console-ng-1.0.0.jar
[root@mq-console-nameserver rocketmq-console]# ls
doc  LICENSE  NOTICE  pom.xml  README.md  src  style  target
[root@mq-console-nameserver rocketmq-console]# ls target/
checkstyle-cachefile    classes            maven-status                            rocketmq-console-ng-1.0.0-sources.jar
checkstyle-checker.xml  generated-sources  rocketmq-console-ng-1.0.0.jar
checkstyle-result.xml   maven-archiver     rocketmq-console-ng-1.0.0.jar.original
  
啓動rocketmq-console，執行命令：
[root@mq-console-nameserver rocketmq-console]# nohup java -jar target/rocketmq-console-ng-1.0.0.jar >/dev/null 2>&1 &
----------------------------------------------------------------------------------------------------
也能夠直接跟NameServer的ip和端口進行啓動
# java -jar rocketmq-console-ng-1.0.0.jar --server.port=8080 --rocketmq.config.namesrvAddr=192.168.10.207:9876
  
若是NameServer有多臺集羣機器的話，後面就多加
# java -jar rocketmq-console-ng-1.0.0.jar --server.port=8080 --rocketmq.config.namesrvAddr=192.168.10.207:9876;192.168.10.208:9876

這裏須要注意兩個參數：
--server.port=8080   指定console訪問端口，默認的就是8080，也能夠指定爲其餘端口
--rocketmq.config.namesrvAddr   指定nameserver的地址
----------------------------------------------------------------------------------------------------
  
rocketmq-console的默認端口是8080
[root@mq-console-nameserver rocketmq-console]# lsof -i:8080
COMMAND  PID       USER   FD   TYPE   DEVICE SIZE/OFF NODE NAME
java    5574 confluence   81u  IPv6 24674767      0t0  TCP mq-console-nameserver:44888->mq-console-nameserver:webcache (CLOSE_WAIT)
java    5649       jira  157u  IPv6   879851      0t0  TCP *:webcache (LISTEN)
java    5649       jira  249u  IPv6  4166247      0t0  TCP mq-console-nameserver:46886->mq-console-nameserver:webcache (CLOSE_WAIT)
java    5649       jira  262u  IPv6 24669705      0t0  TCP mq-console-nameserver:43464->mq-console-nameserver:webcache (CLOSE_WAIT)
  
最後再瀏覽器裏輸入：http://192.168.10.207:8080，便可訪問rockermq的web管理界面了

5）RocketMQ經常使用命令

須要切換到bin目錄下，即：
[root@mq-master01 ~]# cd /data/rocketmq/bin
[root@mq-master01 bin]# 

獲取全部可用命令：
[root@mq-master01 bin]# sh mqadmin

查看幫助：
# sh mqadmin <command> -h
查詢Producer的網絡鏈接狀況：
# sh mqadmin producerConnection -n localhost:9876 -g <producer-group> -t <producer-topic>
查詢Consumer的網絡鏈接狀況：
# sh mqadmin consumerConnection -n localhost:9876 -g <consumer-group>
查詢Consumer的消費狀態：
# sh mqadmin consumerProgress -n localhost:9876 -g <consumer-group>

查詢消息是否發送成功
獲取指定Topic：
# sh mqadmin topicList -n localhost:9876 | grep <topicName>
查看Topic狀態：
# sh mqadmin topicStatus -n localhost:9876 -t <topicName>
根據offset獲取消息：
# sh sh mqadmin queryMsgByOffset -n localhost:9876 -b <broker-name> -i <queueId> -o <offset> -t <topicName>
根據offsetMsgId查詢消息：
# sh sh mqadmin queryMsgById -n localhost:9876 -i <offsetMsgId>

查詢消息是否被消費成功
查詢消息詳情：
# sh mqadmin queryMsgById -i {MsgId} -n {NameServerAddr}
查看Consumer Group訂閱了哪些TOPIC：
# sh mqadmin consumerProgress -g <ConsumerGroup> -n <NameServerAddr>

查詢TOPIC被哪些Consumer Group訂閱了
沒有查詢特定TOPIC訂閱狀況，只能查詢全部後再過濾：
# sh mqadmin statsAll -n <NameServerAddr> | grep <TOPIC> 
返回結果：#Topic #Consumer Group #InTPS #OutTPS #InMsg24Hour #OutMsg24Hour

關閉nameserver和全部的broker:
# sh mqshutdown namesrv
# sh mqshutdown broker

查看全部消費組group:
# sh mqadmin consumerProgress -n 192.168.23.159:9876
查看指定消費組（kevinGroupConsumer）下的全部topic數據堆積狀況：
# sh mqadmin consumerProgress -n 192.168.23.159:9876 -g kevinGroupConsumer
查看全部topic :
# sh mqadmin topicList -n 192.168.23.159:9876
查看topic信息列表詳情統計
# sh mqadmin topicstatus -n 192.168.23.159:9876 -t myTopicTest1
新增topic
# sh mqadmin updateTopic –n 10.45.47.168 –c DefaultCluster –t ZTEExample
刪除topic
# sh mqadmin deleteTopic –n 10.45.47.168:9876 –c DefaultCluster –t ZTEExample

相關標籤/搜索

每日一句

每一个你不满意的现在，都有一个你没有努力的曾经。

RocketMQ 簡單梳理 及 集羣部署筆記

RocketMQ 簡單梳理及集羣部署筆記