18.11 LVS DR模式搭建 18.12 keepalived + LVS

18.11 LVS DR模式搭建

準備工做

準備三臺機器

• 分發器，也叫調度器（簡寫爲dir）88.15

• rs1 88.5

• rs2 88.10

• vip 88.200

dir上編寫腳本

vim /usr/local/sbin/lvs_dr.sh 
內容以下
#! /bin/bash
echo 1 > /proc/sys/net/ipv4/ip_forward  #打開端口轉發
ipv=/usr/sbin/ipvsadm    #定義變量
vip=192.168.88.200       #定義變量
rs1=192.168.88.5         #定義變量
rs2=192.168.88.10        #定義變量
#注意這裏的網卡名字
ifdown ens33
ifup ens33
ifconfig ens33:2 $vip broadcast $vip netmask 255.255.255.255 up #給網卡設置一個虛擬網卡
route add -host $vip dev ens33:2  #添加虛擬網卡的路由
$ipv -C
$ipv -A -t $vip:80 -s wrr
$ipv -a -t $vip:80 -r $rs1:80 -g -w 1  #這裏-g 指定DR模式
$ipv -a -t $vip:80 -r $rs2:80 -g -w 1  #這裏-g 指定DR模式

執行ifdown和ifup是爲了清除執行腳本時設定的虛擬網卡IP，避免重複執行腳本時會重複設定。

兩臺rs上編寫腳本

vim /usr/local/sbin/lvs_rs.sh
內容以下
#/bin/bash
vip=192.168.88.200
#把vip綁定在lo上，是爲了實現rs直接把結果返回給客戶端
ifdown lo
ifup lo
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip lo:0
#如下操做爲更改arp內核參數，目的是爲了讓rs順利發送mac地址給客戶端
#參考文檔www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

腳本定義/lo/arp_ignore和/all/arp_ignore：

arp_ignore:定義對目標地址爲本地IP的ARP詢問不一樣的應答模式

0 - (默認值): 迴應任何網絡接口上對任何本地IP地址的arp查詢請求

1 - 只回答目標IP地址是來訪網絡接口本地地址的ARP查詢請求

2 -只回答目標IP地址是來訪網絡接口本地地址的ARP查詢請求,且來訪IP必須在該網絡接口的子網段內

3 - 不迴應該網絡界面的arp請求，而只對設置的惟一和鏈接地址作出迴應

4-7 - 保留未使用

8 -不迴應全部（本地地址）的arp查詢

腳本定義/lo/arp_announce和/all/arp_announce：

arp_announce:對網絡接口上，本地IP地址的發出的，ARP迴應，做出相應級別的限制: 肯定不一樣程度的限制,宣佈對來自本地源IP地址發出Arp請求的接口

0 - (默認) 在任意網絡接口（eth0,eth1，lo）上的任何本地地址

1 -儘可能避免不在該網絡接口子網段的本地地址作出arp迴應. 當發起ARP請求的源IP地址是被設置應該經由路由達到此網絡接口的時候頗有用.此時會檢查來訪IP是否爲全部接口上的子網段內ip之一.若是改來訪IP不屬於各個網絡接口上的子網段內,那麼將採用級別2的方式來進行處理.

2 - 對查詢目標使用最適當的本地地址.在此模式下將忽略這個IP數據包的源地址並嘗試選擇與能與該地址通訊的本地地址.首要是選擇全部的網絡接口的子網中外出訪問子網中包含該目標IP地址的本地地址. 若是沒有合適的地址被發現,將選擇當前的發送網絡接口或其餘的有可能接受到該ARP迴應的網絡接口來進行發送。

測試腳本

分別在dir以及rs上執行相應的腳本

dir
[root@linux-15 ~]# sh /usr/local/sbin/lvs_dr.sh
成功斷開設備 'ens33'。
鏈接已成功激活（D-Bus 活動路徑：/org/freedesktop/NetworkManager/ActiveConnection/9）
[root@linux-15 ~]#
rs
[root@linux-5 ~]# sh !$
sh /usr/local/sbin/lvs_rs.sh
[root@linux-5 ~]#
rs
[root@linux-10 ~]# sh !$
sh /usr/local/sbin/lvs_rs.sh
[root@linux-10 ~]#

訪問測試

用curl命令訪問這個vip（curl測試vip在rs上不太好用的，由於在本機綁定了這個vip，如果訪問vip，等於訪問本身）

[root@linux-15 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.88.200:80 wrr
  -> 192.168.88.5:80              Route   1      1          1         
  -> 192.168.88.10:80             Route   1      1          1

可是直接在dir機器上去訪問vip會發現失敗，只能再開一個虛擬機來測試，不過用 ipvsadm -ln命令，會看到ActiveConn以及InActConn都會有變化，且兩臺機器的比例爲1:1，表示實驗成功。

由於瀏覽器有緩存，因此沒有辦法及時的查看到lvs負載均衡的效果；可是經過刷新瀏覽器VIP地址，而後在dir機器是上查看ipvsadm的狀況，能夠發現，每一次刷新，ActiveConn都會有變化，刷新次數到必定數量是，InActConn也會產生變回，可見咱們的實驗是成功的。可是，若是由於有緩存，就沒有辦法及時的查看到瀏覽器的變化，咱們如何肯定負載均衡是否成功？其實這些都是不用擔憂的，由於當訪問量達到必定數量時，負載均衡的效果就會慢慢的顯示出來，如同實驗同樣，正是由於訪問量小，咱們看到的頁面都是同樣。

18.12 keepalived + LVS

完整架構須要兩臺服務器（角色爲dir）分別安裝keepalived軟件，目的是實現高可用，但keepalived自己也有負載均衡的功能，因此本次實驗能夠只安裝一臺keepalived

使用keepalived+lvs的緣由

緣由一：lvs，它有個關鍵角色，就是dir分發器，若是分發器宕掉，那全部的訪問就會被終止，由於全部的入口全都在dir分發器上，因此須要把分發器作一個高可用，用keepalived實現高可用，而且keepalived還有負載均衡的做用。

緣由二：在使用lvs的時候，若是沒有額外的操做，這時將一個rs機器關機（宕機）時，lvs照樣會分發數據到這臺宕機機器，這是就會出現訪問無效的狀況，說明lvs並不聰明；這時使用keepalived，就能夠保證集羣中其中一臺rs宕機了，web還能正常提供，不會出現用戶訪問時無效連接的結果；通常這種架構，確定是2臺keepalived；

準備工做

由於keepalived內置了ipvsadm的功能，因此再也不須要安裝ipvsadm的包，也不用再編寫和執行.sh腳本

準備三臺機器，分別爲

dir（安裝keepalived）88.15

rs1 88.5

rs2 88.10

vip 88.200

編輯keepalived配置文件

vim /etc/keepalived/keepalived.conf

vrrp_instance VI_1 {
    #備用服務器上爲 BACKUP
    state MASTER
    interface ens33 
    priority 100 
    advert_int 1 
    authentication {
        auth_type PASS
    virtual_ipaddress {
        192.168.88.200
}   
virtual_server 192.168.88.200 80 {
    #(每隔10秒查詢realserver狀態)
    delay_loop 10 
    lb_kind DR
    #(同一IP的鏈接1秒內被分配到同一臺realserver)
    persistence_timeout 1
    #(用TCP協議檢查realserver狀態)
    protocol TCP 
    
    real_server 192.168.88.5 80 {
        #(權重) 
        weight 100
        TCP_CHECK {
        #(10秒無響應超時)
        connect_timeout 10
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
        }
    }   
    real_server 192.168.88.10 80 {
        weight 100
        TCP_CHECK {
        connect_timeout 10
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
        }
     }  
}

清除原有ipvsadm規則

[root@linux-15 ~]# ipvsadm -C
[root@linux-15 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn

啓動keepalived服務

[root@linux-15 ~]# systemctl start keepalived
[root@linux-15 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.88.200:80 wlc persistent 1
  -> 192.168.88.5:80              Route   100    0          0         
  -> 192.168.88.10:80             Route   100    0          0

啓動服務後，生成了新的ipvsadm規則

keepalived服務功能測試

關閉其中一臺rs的Nginx服務，查看ipvsadm規則

[root@linux-10 ~]# systemctl stop nginx

[root@linux-15 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.88.200:80 wlc persistent 1
  -> 192.168.88.5:80              Route   100    0          0

咱們能夠發現，被關閉Nginx服務的rs已被踢出負載均衡集羣

從新開啓rs的Nginx服務，查看ipvsadm規則

[root@linux-10 ~]# systemctl start nginx

[root@linux-15 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.88.200:80 wlc persistent 1
  -> 192.168.88.5:80              Route   100    0          0         
  -> 192.168.88.10:80             Route   100    0          0

咱們能夠發現，被重啓Nginx服務的rs已從新加入負載均衡集羣

綜上所述，keepalived 有一個比較好的功能，能夠檢測rs上服務運行的狀況，在一臺rs宕機的時候，及時把它踢出 ipvsadm 集羣，將再也不發送數據包給它，這樣很好的避免了訪問無鏈接的狀況發生

keepalived + LVS的注意事項

一、依然須要打開dir機器的端口轉發

echo 1 > /proc/sys/net/ipv4/ip_forward   //打開端口轉發

二、在rs機器上建立的/usr/local/sbin/lvs_rs.sh腳本，依然要執行它