LVS+Keepalived搭建MyCAT高可用負載均衡集羣

時間  2019-11-16
標籤 lvs+keepalived lvs keepalived 搭建 mycat 可用 負載 均衡 集羣 欄目 負載均衡 简体版
原文   原文鏈接

LVS+Keepalived 介紹html

LVSmysql

LVS是Linux Virtual Server的簡寫，意即Linux虛擬服務器，是一個虛擬的服務器集羣系統。本項目在1998年5月由章文嵩博士成立，是中國國內最先出現的自由軟件項目之一。目前有三種IP負載均衡技術（VS/NAT、VS/TUN和VS/DR），十種調度算法（rrr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq）。linux

Keepalvied算法

Keepalived在這裏主要用做RealServer的健康狀態檢查以及Master主機和BackUP主機之間failover的實現sql

下面，搭建基於LVS+Keepalived的MyCAT高可用負載均衡集羣，其中，LVS實現MyCAT的負載均衡，可是，簡單的LVS不能監控後端節點是否健康，它只是基於具體的調度算法對後端服務節點進行訪問。同時，單一的LVS又存在單點故障的風險。在這裏，引進了Keepalived，能夠實現如下幾個功能：vim

1. 檢測後端節點是否健康。後端

2. 實現LVS自己的高可用。bash

 

配置環境：服務器

角色                                    主機IP                    主機名               操做系統版本     軟件版本網絡

VIP                                    192.168.244.10

LVS-DR-Master                   192.168.244.146    keepalived01     CentOS7.1        Keepalived v1.2.13，LVS 1.2.1

LVS-DR-Backup                  192.168.244.147    keepalived02     CentOS7.1        Keepalived v1.2.13，LVS 1.2.1

mycat-Realserver                192.168.244.148    mycat01            CentOS7.1       mycat v1.5 

mycat-Realserver                192.168.244.149    mycat02            CentOS7.1       mycat v1.5 

1、安裝keepalived和ipvsadm

      注意：ipvsadm並非lvs，它只是lvs的配置工具，因lvs在3.10（CentOS7.1的內核版本）的內核中是默認支持的。因此在這裏就不須要從新安裝。

      爲了方便起見，在這裏咱們使用yum的安裝方式

      分別在keepalived01和keepalived02兩臺主機上安裝keepalived和ipvsadm

      # yum install -y keepalived ipvsadm

      除了這種簡易方式外，也可直接編譯官方的源碼包。

      LVS：http://www.linuxvirtualserver.org/software/index.html

      Keepalived：http://www.keepalived.org/download.html

      安裝步驟可參考：http://www.cnblogs.com/mchina/archive/2012/05/23/2514728.html

2、配置Keepalived

     keepalived01，即LVS-DR-Master上，其配置以下：

     [root@keepalived01 ~]# vim /etc/keepalived/keepalived.conf

! Configuration File for keepalived

global_defs {
   notification_email {
     acassen@firewall.loc     #設置報警郵件地址，能夠設置多個，每行一個。
     failover@firewall.loc    #需開啓本機的sendmail服務
     sysadmin@firewall.loc
   }
   notification_email_from Alexandre.Cassen@firewall.loc  #設置郵件的發送地址
   smtp_server 127.0.0.1      #設置smtp server地址
   smtp_connect_timeout 30    #設置鏈接smtp server的超時時間
   router_id LVS_DEVEL        #表示運行keepalived服務器的一個標識。發郵件時顯示在郵件主題的信息
}

vrrp_instance VI_1 {
    state MASTER              #指定keepalived的角色，MASTER表示此主機是主服務器，BACKUP表示此主機是備用服務器
    interface eno16777736     #指定HA監測網絡的接口
    virtual_router_id 51      #虛擬路由標識，這個標識是一個數字，同一個vrrp實例使用惟一的標識。即同一vrrp_instance下，MASTER和BACKUP必須是一致的
    priority 100              #定義優先級，數字越大，優先級越高，在同一個vrrp_instance下，MASTER的優先級必須大於BACKUP的優先級
    advert_int 1              #設定MASTER與BACKUP負載均衡器之間同步檢查的時間間隔，單位是秒
    authentication {          #設置驗證類型和密碼
        auth_type PASS        #設置驗證類型，主要有PASS和AH兩種
        auth_pass 1111        #設置驗證密碼，在同一個vrrp_instance下，MASTER與BACKUP必須使用相同的密碼才能正常通訊
    }
    virtual_ipaddress {       #設置虛擬IP地址，能夠設置多個虛擬IP地址，每行一個
        192.168.244.10 
    }
}

virtual_server 192.168.244.10 8066 {  #設置虛擬服務器，須要指定虛擬IP地址和服務端口，IP與端口之間用空格隔開
    delay_loop 6              #設置運行狀況檢查時間，單位是秒
    lb_algo rr                #設置負載調度算法，這裏設置爲rr，即輪詢算法
    lb_kind DR                #設置LVS實現負載均衡的機制，有NAT、TUN、DR三個模式可選
    nat_mask 255.255.255.0 
    persistence_timeout 50    #會話保持時間，單位是秒。這個選項對動態網頁是很是有用的，爲集羣系統中的session共享提供了一個很好的解決方案。
                              #有了這個會話保持功能，用戶的請求會被一直分發到某個服務節點，直到超過這個會話的保持時間。
                              #須要注意的是，這個會話保持時間是最大無響應超時時間，也就是說，用戶在操做動態頁面時，若是50秒內沒有執行任何操做
                              #那麼接下來的操做會被分發到另外的節點，可是若是用戶一直在操做動態頁面，則不受50秒的時間限制
    protocol TCP              #指定轉發協議類型，有TCP和UDP兩種

    real_server 192.168.244.148 8066 { #配置服務節點1，須要指定real server的真實IP地址和端口，IP與端口之間用空格隔開
        weight 1              #配置服務節點的權值，權值大小用數字表示，數字越大，權值越高，設置權值大小能夠爲不一樣性能的服務器
                              #分配不一樣的負載，能夠爲性能高的服務器設置較高的權值，而爲性能較低的服務器設置相對較低的權值，這樣才能合理地利用和分配系統資源
        TCP_CHECK {           #realserver的狀態檢測設置部分，單位是秒
            connect_timeout 3    #表示3秒無響應超時
            nb_get_retry 3       #表示重試次數
            delay_before_retry 3 #表示重試間隔
            connect_port 8066
        } 
    }
    real_server 192.168.244.149 8066 {
        weight 1
        TCP_CHECK {
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
            connect_port 8066
        }
    }
}

      將該文件scp到keepalived02上，修改以下：

! Configuration File for keepalived

global_defs {
   notification_email {
     acassen@firewall.loc
     failover@firewall.loc
     sysadmin@firewall.loc
   }
   notification_email_from Alexandre.Cassen@firewall.loc
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL
}

vrrp_instance VI_1 {
    state BACKUP   #將state從MASTER改成BACKUP
    interface eno16777736
    virtual_router_id 51
    priority 99  #修改優先級
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.244.10
    }
}

virtual_server 192.168.244.10 8066 {
    delay_loop 6
    lb_algo rr
    lb_kind DR
    nat_mask 255.255.255.0
    persistence_timeout 50
    protocol TCP

    real_server 192.168.244.148 8066 {
        weight 1
        TCP_CHECK {
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
            connect_port 8066
        }
    }
    real_server 192.168.244.149 8066 {
        weight 1
        TCP_CHECK {
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
            connect_port 8066
        }
    }
}

在上面這兩個配置文件中，有一個地方尤爲須要注意，即interface，網上的相關部署文檔都是eth0，在CentOS7以前，網絡接口的確都是eth0，但在CentOS7中，該接口爲eno16777736。因此須要根據生產實際狀況進行相應的修改。

3、安裝，配置，啓動MyCAT

     分別在mycat01和mycat02兩臺主機上部署MyCAT，具體可參考：

     http://www.cnblogs.com/ivictor/p/5111495.html

     注意：爲了便於觀察後續MyCAT負載均衡的效果，MyCAT的配置文件並無進行修改，均是指向本地的MySQL實例。

4、在MyCAT服務器上爲lo:0綁定VIP地址、抑制ARP廣播

      分別在mycat01和mycat02兩臺主機上執行如下腳本。

      [root@mycat01 ~]# cat realserver.sh

#!/bin/bash
#description: Config realserver

VIP=192.168.244.10
 
/etc/rc.d/init.d/functions
 
case "$1" in
start)
       /sbin/ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP
       /sbin/route add -host $VIP dev lo:0
       echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
       echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
       echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
       echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
       sysctl -p >/dev/null 2>&1
       echo "RealServer Start OK"
       ;;
stop)
       /sbin/ifconfig lo:0 down
       /sbin/route del $VIP >/dev/null 2>&1
       echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore
       echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
       echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
       echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
       echo "RealServer Stoped"
       ;;
*)
       echo "Usage: $0 {start|stop}"
       exit 1
esac
 
exit 0

      [root@mycat01 ~]# sh realserver.sh start

      [root@mycat02 ~]# sh realserver.sh start

      執行ip addr查看VIP是否綁定成功

     

5、分別在keepalived01和keepalived02上啓動Keepalived服務

      [root@keepalived01 keepalived]# service keepalived start

      [root@keepalived02 keepalived]# service keepalived start

      經過ipvsadm -L命令查看VIP是否能成功映射到後端mycat服務。若是失敗了，可經過/var/log/messages日誌定位keepalived啓動失敗的緣由。      

[root@keepalived01 ~]# ipvsadm -L
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.244.10:8066 rr persistent 50
  -> 192.168.244.148:8066         Route   1      0          0         
  -> 192.168.244.149:8066         Route   1      0          0
[root@keepalived02 keepalived]# ipvsadm -L
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.244.10:8066 rr persistent 50
  -> 192.168.244.148:8066         Route   1      0          0         
  -> 192.168.244.149:8066         Route   1      0          0

從輸出的結果來看，VIP已成功映射到後端mycat服務，下面，具體測試一下

6、測試MyCAT高可用負載均衡集羣的可用性。

     測試MyCAT集羣的負載均衡

     經過mysql -h192.168.244.10 -P8066 -utest -ptest -DTESTDB  -e 'select @@hostname'命令來判斷當前訪問的是哪一個mycat節點。

     可是很奇怪的時，連續執行三次，每次都是訪問mycat02節點。  

[root@mysql-server1 ~]# mysql -h192.168.244.10 -P8066 -utest -ptest -DTESTDB  -e 'select @@hostname'
Warning: Using a password on the command line interface can be insecure.
+------------+
| @@hostname |
+------------+
| mycat02    |
+------------+
[root@mysql-server1 ~]# mysql -h192.168.244.10 -P8066 -utest -ptest -DTESTDB  -e 'select @@hostname'
Warning: Using a password on the command line interface can be insecure.
+------------+
| @@hostname |
+------------+
| mycat02    |
+------------+
[root@mysql-server1 ~]# mysql -h192.168.244.10 -P8066 -utest -ptest -DTESTDB  -e 'select @@hostname'
Warning: Using a password on the command line interface can be insecure.
+------------+
| @@hostname |
+------------+
| mycat02    |
+------------+

   經過ipvsadm -L命令查看這三個鏈接確實都被轉發到mycat02上了。

[root@keepalived01 ~]# ipvsadm -L
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.244.10:8066 rr persistent 50
  -> 192.168.244.148:8066         Route   1      0          0         
  -> 192.168.244.149:8066         Route   1      0          3

   原來，這個與配置文件中的persistence_timeout有關，指的是在必定的時間內來自同一IP的鏈接將會被轉發到同一realserver中。而不是嚴格意義上的輪詢。默認爲50s，具體的失效時間仍是比較複雜，可參考：lvs持久性工做原理和配置

   在這裏，爲了觀察到明顯的輪詢效果。將該值設爲0。重啓keepalived服務。

   從新測試，結果以下

[root@mysql-server1 ~]#  mysql -h192.168.244.10 -P8066 -utest -ptest -DTESTDB  -e 'select @@hostname'
Warning: Using a password on the command line interface can be insecure.
+------------+
| @@hostname |
+------------+
| mycat02    |
+------------+
[root@mysql-server1 ~]#  mysql -h192.168.244.10 -P8066 -utest -ptest -DTESTDB  -e 'select @@hostname'
Warning: Using a password on the command line interface can be insecure.
+------------+
| @@hostname |
+------------+
| mycat01    |
+------------+
[root@mysql-server1 ~]#  mysql -h192.168.244.10 -P8066 -utest -ptest -DTESTDB  -e 'select @@hostname'
Warning: Using a password on the command line interface can be insecure.
+------------+
| @@hostname |
+------------+
| mycat02    |
+------------+
[root@mysql-server1 ~]#  mysql -h192.168.244.10 -P8066 -utest -ptest -DTESTDB  -e 'select @@hostname'
Warning: Using a password on the command line interface can be insecure.
+------------+
| @@hostname |
+------------+
| mycat01    |
+------------+

  實現了嚴格意義上的輪詢，ipvsadm -L的輸出結果以下：

[root@keepalived01 ~]# ipvsadm -L
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.244.10:8066 rr
  -> 192.168.244.148:8066         Route   1      0          2         
  -> 192.168.244.149:8066         Route   1      0          2

  每一個節點對應2個鏈接，與上述經過mysql客戶端獲得的結果相符。

 

  測試LVS的高可用

  手動斷開LVS-DR-Master節點的Keepalived服務

[root@keepalived01 ~]# service keepalived stop
Redirecting to /bin/systemctl stop  keepalived.service
[root@keepalived01 ~]# ipvsadm -L
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn

 能夠發現，mysql客戶端依舊能夠經過mycat鏈接到mysql服務端

[root@mysql-server1 ~]#  mysql -h192.168.244.10 -P8066 -utest -ptest -DTESTDB  -e 'select @@hostname'
Warning: Using a password on the command line interface can be insecure.
+------------+
| @@hostname |
+------------+
| mycat02    |
+------------+

  重啓LVS-DR-Master節點的Keepalived服務後，不難檢測出keepalived01又從新做爲了Master節點（由於BACKUP節點的persistence_timeout沒有修改，因此可根據輪詢的特色來判斷哪一個節點是master節點）。

 

  測試Keepalived對於MyCAT服務的監控檢測

  手動關閉mycat01節點的mycat服務

[root@mycat01 ~]# cd /usr/local/mycat/
[root@mycat01 mycat]# bin/mycat stop
Stopping Mycat-server...
Stopped Mycat-server.

 經過LVS-DR-Master節點節點上的ipvsadm -L能夠看出VIP的映射關係中已剔除了mycat01節點。

[root@keepalived01 ~]# ipvsadm -L
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.244.10:8066 rr
  -> 192.168.244.149:8066         Route   1      0          0

至此，基於LVS+Keepalived的MyCAT集羣搭建完畢。

 

在整個搭建過程當中，有如下幾點須要注意：

1. VIP的端口，必須和後端服務的端口是對應的，我在測試的過程當中，將VIP的端口改成7066，結果沒法鏈接上mycat。

[root@mysql-server1 ~]#  mysql -h192.168.244.10 -P7066 -utest -ptest -DTESTDB
Warning: Using a password on the command line interface can be insecure.
ERROR 2003 (HY000): Can't connect to MySQL server on '192.168.244.10' (111)
[root@mysql-server1 ~]#  mysql -h192.168.244.10 -P8066 -utest -ptest -DTESTDB
Warning: Using a password on the command line interface can be insecure.
ERROR 2003 (HY000): Can't connect to MySQL server on '192.168.244.10' (111

2. LVS和後端的realserver仍是要物理上分開，剛開始是放到一個機器上測試，但沒法獲得預期的效果。

3. interface eno16777736這裏是個坑，剛開始寫的是eth0，結果，ping都ping不通，因此仍是要與網卡的實際名稱相對應。

4. Keepalived仍是蠻強大的，即使不使用LVS，也可基於它作高可用集羣。譬如，常見的MySQL的雙主高可用集羣。

5. 關因而否要啓動Linux內核中的路由轉發功能，經測試，不管是LVS仍是後端MyCAT服務節點，都可不啓動。

相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程