ActiveMQ+ZooKeeper 集羣整合

原理簡介：
通常在部署ActiveMQ集羣的時候，更傾向於使用基於ZooKeeper的Replicated LevelDB Store方式，該方式是Master Slave部署方案的其中一種策略，也是在多臺主機實現ActiveMQ集羣的主流部署方式。 此教程只保證了高可用性。要想保證負載均衡得再結合Broker Clusters 部署方案，配置網絡鏈接器。

工做流程：
在ZooKeeper中管理多個Broker節點，根據 Master選舉策略讓其中一個 Broker選舉爲Master（只有Master才具有對外提供服務的能力），剩下Broker爲slave。
編碼時，client端（消費者）經過failover協議來鏈接ActiveMQ集羣。

1、服務器配置

1. ZooKeeper集羣

ZooKeeper集羣保證ZooKeeper自己的高可用性。

1.1 修改ZK配置文件conf/zoo.cfg

主機IP	服務端口（默認）	集羣通訊端口	節點目錄/opt/下
192.168.100.142	2181	2888:3888	zookeeper
192.168.100.143	2181	2888:3888	zookeeper
192.168.100.144	2181	2888:3888	zookeeper

集羣通訊端口：第一個端口是master和slave之間的通訊端口，默認是2888；第二個端口是leader選舉的端口，集羣剛啓動的時候選舉或者leader掛掉以後進行新的選舉的端口默認是3888。

在3臺主機上都安裝zookeeper服務，/opt/zookeeper，並分別配置它們的文件conf/zoo.cfg:

• 主機1(192.168.100.142)：
  /opt/zookeeper/conf/zoo.cfg:

  # zookeeper的數據存儲和日誌存儲目錄（若是目錄不存在就新建）
  dataDir=/opt/zookeeper/data
  dataLogDir=/opt/zookeeper/log
  
  # zk集羣之間的通訊地址
  server.1=192.168.100.142:2888:3888
  server.2=192.168.100.143:2888:3888
  server.3=192.168.100.144:2888:3888

  建立/opt/zookeeper/data/myid文件,填入數字1：

  # 因爲該主機1（192.168.100.142）是server.1，因此在myid中設置數字1
  $ vim /opt/zookeeper/data/myid

• 主機2（192.168.100.143）：
  /opt/zookeeper/conf/zoo.cfg:

  dataDir=/opt/zookeeper/data
  dataLogDir=/opt/zookeeper/log
  
  server.1=192.168.100.142:2888:3888
  server.2=192.168.100.143:2888:3888
  server.3=192.168.100.144:2888:3888

  建立/opt/zookeeper/data/myid文件,填入數字2：

  # 因爲該主機2（192.168.100.143）是server.2，因此在myid中設置數字2
  $ vim /opt/zookeeper/data/myid

• 主機3（192.168.100.143）：
  /opt/zookeeper/conf/zoo.cfg:

  dataDir=/opt/zookeeper/data
  dataLogDir=/opt/zookeeper/log
  
  server.1=192.168.100.142:2888:3888
  server.2=192.168.100.143:2888:3888
  server.3=192.168.100.144:2888:3888

  建立/opt/zookeeper/data/myid文件,填入數字3：

  # 因爲該主機3（192.168.100.144）是server.3，因此在myid中設置數字3
  $ vim /opt/zookeeper/data/myid

1.2 分別啓動zookeeper服務

$ /opt/zookeeper/bin/zkServer.sh start # 啓動zk服務
$ /opt/zookeeper/bin/zkServer.sh status # 查看zk服務狀態

2. ActiveMQ集羣

2.1 修改ActiveMQ配置文件conf/activemq.xml和conf/jetty.xml

主機IP	服務端口(默認)	複製協議端口（動態）	jetty控制檯端口（默認）	節點目錄/opt/下
192.168.100.142	61616	tcp://0.0.0.0:0	8161	activemq/node1
192.168.100.143	61616	tcp://0.0.0.0:0	8161	activemq/node2
192.168.100.144	61616	tcp://0.0.0.0:0	8161	activemq/node3

在3臺主機上都安裝activemq 服務，/opt/activemq，並分別配置它們的文件conf/activemq.xml和conf/jetty.xml:

• 主機1(192.168.100.142)：
  /opt/activemq/conf/activemq.xml：

  <!-- 持久化的部分爲ZooKeeper集羣鏈接地址-->  
  <persistenceAdapter>  
      <replicatedLevelDB  
        directory="${activemq.data}/leveldb"  
        replicas="3"  
        bind="tcp://0.0.0.0:0"  
        zkAddress="192.168.100.142:2181,192.168.100.143:2181,192.168.100.144:2181"   
        zkPath="/opt/activemq/leveldb-stores"  
        hostname="192.168.100.142"  
        />  
  </persistenceAdapter>
  <!-- 
  # directory： 存儲數據的路徑
  # replicas：集羣中的節點數【(replicas/2)+1公式表示集羣中至少要正常運行的服務數量】，3臺集羣那麼容許1臺宕機， 另外兩臺要正常運行  
  # bind：當該節點成爲master後，它將綁定已配置的地址和端口來爲複製協議提供服務。還支持使用動態端口。只需使用tcp://0.0.0.0:0進行配置便可，默認端口爲61616。 
  # zkAddress：ZK的ip和port， 若是是集羣，則用逗號隔開(這裏做爲簡單示例ZooKeeper配置爲單點， 這樣已經適用於大多數環境了， 集羣也就多幾個配置) 
  # zkPassword：當鏈接到ZooKeeper服務器時用的密碼，沒有密碼則不配置。 
  # zkPah：ZK選舉信息交換的存貯路徑，啓動服務後actimvemq會到zookeeper上註冊生成此路徑   
  # hostname： ActiveMQ所在主機的IP
  # 更多參考：http://activemq.apache.org/replicated-leveldb-store.html
  -->

  /opt/activemq/conf/jetty.xml：

  <bean id="jettyPort" class="org.apache.activemq.web.WebConsolePort" init-method="start">
      <property name="host" value="0.0.0.0"/>
      <property name="port" value="8161"/> <!-- 在這裏修改端口爲8161,默認就是8161 -->
  </bean>

• 主機2(192.168.100.143)：
  /opt/activemq/conf/activemq.xml：

  <persistenceAdapter>  
      <replicatedLevelDB  
        directory="${activemq.data}/leveldb"  
        replicas="3"  
        bind="tcp://0.0.0.0:0"  
        zkAddress="192.168.100.142:2181,192.168.100.143:2181,192.168.100.144:2181"   
        zkPath="/opt/activemq/leveldb-stores"  
        hostname="192.168.100.143"  
        />  
  </persistenceAdapter>

  /opt/activemq/conf/jetty.xml：

  <bean id="jettyPort" class="org.apache.activemq.web.WebConsolePort" init-method="start">
      <property name="host" value="0.0.0.0"/>
      <property name="port" value="8161"/> <!-- 在這裏修改端口爲8161,默認就是8161 -->
  </bean>

• 主機3(192.168.100.144)：
  /opt/activemq/conf/activemq.xml：

  <persistenceAdapter>  
      <replicatedLevelDB  
        directory="${activemq.data}/leveldb"  
        replicas="3"  
        bind="tcp://0.0.0.0:0"  
        zkAddress="192.168.100.142:2181,192.168.100.143:2181,192.168.100.144:2181"   
        zkPath="/opt/activemq/leveldb-stores"  
        hostname="192.168.100.144"  
        />  
  </persistenceAdapter>

  /opt/activemq/conf/jetty.xml：

  <bean id="jettyPort" class="org.apache.activemq.web.WebConsolePort" init-method="start">
      <property name="host" value="0.0.0.0"/>
      <property name="port" value="8161"/> <!-- 在這裏修改端口爲8161,默認就是8161 -->
  </bean>

2.2 依次啓動activemq服務

$ /opt/activemq/bin/activemq start # 啓動activemq服務

$ ps -ef|grep activemq # 檢查進程是否運行，即activemq是否啓動成功
$ netstat -anp|grep 61616 # 查看服務端口61616，監聽狀況

3、Client使用

該zookeeper+activemq的集羣Master Slave部署方案，可以提供(3-1)/2的容錯率，即3臺服務器容許宕機一臺，而不影響整個集羣的對外提供服務。

編寫代碼鏈接時使用failover策略：

String url = failover:(tcp://192.168.100.142:61616,tcp://192.168.100.143:61616,tcp://192.168.100.144:61616)?initialReconnectDelay=1000