RabbitMQ集羣和高可用配置

概述

RabbitMQ是一個開源的AMQP實現，服務器端用Erlang語言編寫，支持多種客戶端，如：Python、Ruby、.NET、Java、JMS、C、PHP、ActionScript、XMPP、STOMP等，支持AJAX。用於在分佈式系統中存儲轉發消息，在易用性、擴展性、高可用性等方面表現不俗。

運行模式大概有3種：

單一模式：非集羣模式，單臺。

普通模式：RabbitMQ默認的集羣模式。

對於Queue來講，消息實體只存在於其中一個節點，A、B兩個節點僅有相同的元數據，即隊列結構。當消息進入A節點的Queue中後，consumer從B節點拉取時，RabbitMQ會臨時在A、B間進行消息傳輸，把A中的消息實體取出並通過B發送給consumer。

因此consumer應儘可能鏈接每個節點，從中取消息。即對於同一個邏輯隊列，要在多個節點創建物理Queue。不然不管consumer連A或B，出口總在A，會產生瓶頸。

該模式存在一個問題就是當A節點故障後，B節點沒法取到A節點中還未消費的消息實體。

若是作了消息持久化，那麼得等A節點恢復，而後纔可被消費；若是沒有持久化會丟失消息。

鏡像模式：Queue同時存在多個節點，可經過改模式實現HA高可用
該模式解決了上述問題，其實質和普通模式不一樣之處在於，消息實體會主動在鏡像節點間同步，而不是在consumer取數據時臨時拉取。

該模式帶來的反作用也很明顯，除了下降系統性能外，若是鏡像隊列數量過多，加之大量的消息進入，集羣內部的網絡帶寬將會被這種同步通信大大消耗掉。

下面來經過配置RabbitMQ鏡像模式來熟悉這3種運行模式

1. 環境說明

RabbitMQ集羣安裝在3個節點上：10.0.0.一、10.0.0.二、10.0.0.3

HAProxy安裝在10.0.0.4上，用於對外提供RabbitMQ均衡

3個節點在/etc/hosts文件中分別添加以下內容：

10.0.0.1 rabbit1
10.0.0.2 rabbit2
10.0.0.3 rabbit3

2. 安裝erlang、rabbitmq

cd oneinstack/src
wget http://erlang.org/download/otp_src_18.3.tar.gz
tar xzf otp_src_18.3.tar.gz
cd otp_src_18.3
./configure --prefix=/usr/local/erlang --enable-shared-zlib --with-ssl --enable-threads --enable-smp-support --enable-kernel-poll --enable-hipe --without-javac
make && make install

cd ..
wget http://www.rabbitmq.com/releases/rabbitmq-server/v3.5.7/rabbitmq-server-generic-unix-3.5.7.tar.gz
tar xzf rabbitmq-server-generic-unix-3.5.4.tar.gz
mv rabbitmq_server-3.5.4 rabbitmq
sed -i 's@^ERL_DIR=.*@ERL_DIR=/usr/local/erlang/bin/@' /usr/local/rabbitmq/sbin/rabbitmq-defaults
sed -i 's@^LOG_BASE=.*@LOG_BASE=/usr/local/rabbitmq/var/log/rabbitmq@' /usr/local/rabbitmq/sbin/rabbitmq-defaults  #日誌目錄
mkdir -p /usr/local/rabbitmq/var/{lib,log}/rabbitmq

3. 通常用戶（rabbitmq）運行RabbitMQ

useradd rabbitmq
wget http://pkgs.fedoraproject.org/cgit/rpms/rabbitmq-server.git/plain/rabbitmq-script-wrapper
sed -i 's@cd /var/lib/rabbitmq@cd /usr/local/rabbitmq/var/lib/rabbitmq@g' rabbitmq-script-wrapper  #更改rabbitmq數據存儲目錄
sed -i 's@/usr/lib/rabbitmq/bin/@/usr/local/rabbitmq/sbin/@g' rabbitmq-script-wrapper
chmod +x rabbitmq-script-wrapper
cp rabbitmq-script-wrapper /usr/sbin/rabbitmqctl
cp rabbitmq-script-wrapper /usr/sbin/rabbitmq-server
cp rabbitmq-script-wrapper /usr/sbin/rabbitmq-plugins
chown -R rabbitmq.rabbitmq /usr/local/rabbitmq/var

4. 日誌割接

cat >> /etc/logrotate.d/rabbitmq-server << EOF
/usr/local/rabbitmq/var/log/rabbitmq/*.log {
  weekly
  missingok
  rotate 20
  compress
  delaycompress
  notifempty
  sharedscripts
  postrotate
    /sbin/service rabbitmq-server rotate-logs > /dev/null
  endscript
}
EOF

5. 啓動腳本

參考： 《RabbitMQ啓動腳本》

6. 設置Erlang Cookie

Erlang Cookie文件：/home/rabbitmq/.erlang.cookie。這裏將rabbit1的該文件複製到rabbit二、rabbit3，並設置400權限

chmod 400 /home/rabbitmq/.erlang.cookie
chown rabbitmq.rabbitmq /home/rabbitmq/.erlang.cookie

7. 修改配置文件

密碼和集羣配置：

cat > /usr/local/rabbitmq/etc/rabbitmq/rabbitmq.config << EOF
[
  {rabbit, [
    {cluster_nodes, {['rabbit@rabbit1','rabbit@rabbit2', 'rabbit@rabbit3'], disc}},
    {tcp_listeners,[{"0.0.0.0",5672}]},
    {default_vhost,       <<"/">>},
    {default_user,        <<"linuxeye">>},
    {default_pass,        <<"linuxeye@123">>},
    {loopback_users, ["linuxeye"]},
    {default_permissions, [<<".*">>, <<".*">>, <<".*">>]}
  ]}
].
EOF

啓用rabbitmq_management

cat > /usr/local/rabbitmq/etc/rabbitmq/enabled_plugins << EOF
[rabbitmq_management].
EOF

8. 分別啓動3個節點rabbitmq

使用rabbitmqctl cluster_status命令表示集羣搭建成功

[root@rabbit2 ~]# rabbitmqctl cluster_status
Cluster status of node rabbit@rabbit2 ...
[{nodes,[{disc,[rabbit@rabbit1,rabbit@rabbit2,rabbit@rabbit3]}]},
{running_nodes,[rabbit@rabbit3,rabbit@rabbit1,rabbit@rabbit2]},
{cluster_name,<<"rabbit@rabbit2">>},
{partitions,[]}]

9. 設置鏡像隊列策略

在任意一個節點上執行：

rabbitmqctl set_policy ha-all "^" '{"ha-mode":"all"}'

10. 配置HAProxy

配置好HAProxy後，瀏覽器訪問http://10.0.0.4:15672, 看到以下證實rabbitmq鏡像模式搭建成功