2018-07-23筆記（Linux集羣架構 lvs keepalived）

時間  2019-12-28
標籤 筆記 linux 集羣 架構 lvs keepalived 欄目 Linux 简体版
原文   原文鏈接

18.11 LVS DR模式搭建

原理：
client 發送一個pv請求給VIP；VIP 收到這請求後會跟LVS設置的LB算法選擇一個LB 比較合理的realserver，而後把此請求的package 的MAC地址修改成realserver的MAC地址，realserver 處理這個包後，會跟dst 爲client ip 直接發送給 client ip；不通過lvs
LVS DR模式的注意狀況：html

一、 LVS 的VIP 和 realserver 必須在同一個網段，否則廣播後全部的包都會丟掉： 提早確認LVS/硬件LB 是什麼模式，是否須要在同一個網段
二、全部的realserver 都必須綁定VIP的IP地址，不然realserver 收到package後發現dst 不是本身的IP，全部包都會丟掉。
三、realserver·處理完包後直接把package 經過dst IP 發送給 client ，不經過LVS/迎接IP 了這樣的LVS /VIP 效率會更高一點。【經過把realserver的ip暴漏給外界，不是很安全】
DR模式搭建 – 準備工做
三臺機器 mysql

dir
192.168.66.130 
rs1 
192.168.66.131 
rs2 
192.168.66.132 
dir和rs上都要綁定的vip 
192.168.66.200

一、dir上編寫腳本 vim /usr/local/sbin/lvs_dr.sh //內容以下linux

#! /bin/bash
echo 1 > /proc/sys/net/ipv4/ip_forward
ipv=/usr/sbin/ipvsadm
vip=192.168.66.200
rs1=192.168.66.131
rs2=192.168.66.132
#注意這裏的網卡名字,設置虛擬網卡
#重啓是爲了防止重複執行
ifdown ens33
ifup ens33
ifconfig ens33:2 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip dev ens33:2
$ipv -C
$ipv -A -t $vip:80 -s wrr
#-g就是dr模式
$ipv -a -t $vip:80 -r $rs1:80 -g -w 1
$ipv -a -t $vip:80 -r $rs2:80 -g -w 1

注：執行ifdown和ifup是爲了清除執行腳本時設定的虛擬網卡IP，避免重複執行腳本時會重複設定
二、兩臺rs上也編寫腳本 vim /usr/local/sbin/lvs_rs.sh//內容以下nginx

#/bin/bash
vip=192.168.11.200
#把vip綁定在lo上，是爲了實現rs直接把結果返回給客戶端
ifdown lo
ifup lo
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip lo:0
#如下操做爲更改arp內核參數，目的是爲了讓rs順利發送mac地址給客戶端
#參考文檔www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

關於腳本中的arp_ignore和arp_announce參數web

腳本定義/lo/arp_ignore和/all/arp_ignore：
arp_ignore:定義對目標地址爲本地IP的ARP詢問不一樣的應答模式
0 - (默認值): 迴應任何網絡接口上對任何本地IP地址的arp查詢請求
1 - 只回答目標IP地址是來訪網絡接口本地地址的ARP查詢請求
2 -只回答目標IP地址是來訪網絡接口本地地址的ARP查詢請求,且來訪IP必須在該網絡接口的子網段內
3 - 不迴應該網絡界面的arp請求，而只對設置的惟一和鏈接地址作出迴應
4-7 - 保留未使用
8 -不迴應全部（本地地址）的arp查詢
腳本定義/lo/arp_announce和/all/arp_announce：
arp_announce:對網絡接口上，本地IP地址的發出的，ARP迴應，做出相應級別的限制: 肯定不一樣程度的限制,宣佈對來自本地源IP地址發出Arp請求的接口算法

0 - (默認) 在任意網絡接口（eth0,eth1，lo）上的任何本地地址
1 -儘可能避免不在該網絡接口子網段的本地地址作出arp迴應. 當發起ARP請求的源IP地址是被設置應該經由路由達到此網絡接口的時候頗有用.此時會檢查來訪IP是否爲全部接口上的子網段內ip之一.若是改來訪IP不屬於各個網絡接口上的子網段內,那麼將採用級別2的方式來進行處理.
2 - 對查詢目標使用最適當的本地地址.在此模式下將忽略這個IP數據包的源地址並嘗試選擇與能與該地址通訊的本地地址.首要是選擇全部的網絡接口的子網中外出訪問子網中包含該目標IP地址的本地地址. 若是沒有合適的地址被發現,將選擇當前的發送網絡接口或其餘的有可能接受到該ARP迴應的網絡接口來進行發送
分別在dir上和兩個rs上執行這些腳本 sql

三、運行腳本
分別在dir以及rs上執行相應的腳本vim

dir
[root@dir130 ~]# sh /usr/local/sbin/lvs_dr.sh
成功斷開設備 'ens33'。
鏈接已成功激活（D-Bus 活動路徑：/org/freedesktop/NetworkManager/ActiveConnection/9）
rs1
[root@rs1-131 ~]# sh /usr/local/sbin/lvs_rs.sh
rs2
[root@rs2-132 ~]# sh /usr/local/sbin/lvs_rs.sh

四、測試效果
在dir上執行ipvsadm -ln查看主機安全

[root@dir130 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.66.200:80 wrr
  -> 192.168.66.131:80              Route   1      1          1         
  -> 192.168.66.132:80              Route   1      1          1

能夠看到兩臺rs
用同網段的另一臺機器curl命令訪問這個vip（curl測試vip在rs上不太好用的，由於在本機綁定了這個vip，如果訪問vip，等於訪問本身）bash

[root@localhost ~]# curl 192.168.66.200
Master Master
[root@localhost ~]# curl 192.168.66.200
backup backup
[root@localhost ~]# curl 192.168.66.200
Master Master
[root@localhost ~]# curl 192.168.66.200
backup backup

由於我兩臺rs上的nginx定義了不一樣的index.html以便區分，能夠看到測試是成功的

18.12 keepalived + LVS

完整架構須要兩臺服務器（角色爲dir）分別安裝keepalived軟件，目的是實現高可用，
但keepalived自己也有負載均衡的功能(其實keepalived的負載均衡的功能就是lvs),因此本次實驗能夠只安裝一臺keepalived
使用keepalived+lvs的好處：
一：lvs，它有個關鍵角色，就是dir分發器，若是分發器宕掉，那全部的訪問就會被終止，由於全部的入口全都在dir分發器上，因此須要把分發器作一個高可用，用keepalived實現高可用，而且keepalived還有負載均衡的做用。
二：在使用lvs的時候，若是沒有額外的操做，這時將一個rs機器關機（宕機）時，lvs照樣會分發數據到這臺宕機機器，這是就會出現訪問無效的狀況，說明lvs並不聰明；這時使用keepalived，就能夠保證集羣中其中一臺rs宕機了，web還能正常提供，不會出現用戶訪問時無效連接的結果；通常這種架構，確定是2臺keepalived；

由於keepalived內置了ipvsadm的功能，因此再也不須要安裝ipvsadm的包，也不用再編寫和執行dir上的.sh腳本
準備三臺機器，分別爲
dir（安裝keepalived）192.168.66.130
rs1 192.168.66.130
rs2 192.168.66.131
vip 192.168.66.200
在dir分發器（A機器）上，清空ipvsadm規則，並查看ipvsadm規則，會發現已經清空

[root@dir130 ~]# ipvsadm -C
[root@dir130 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn

一、在分發器130上編輯配置文件，在/etc/keepalived/keepalived.conf 配置，配置文件內容
由於以前作實驗裏面編輯過配置文件，這時直接刪除，而後粘貼新的配置文件
修改配置文件中的網卡、vip ，還有rs機器上的IP

[root@dir130 ~]# vim /etc/keepalived/keepalived.conf
#內容以下
vrrp_instance VI_1 {
    #備用服務器上爲 BACKUP
    state MASTER
    #綁定vip的網卡爲ens33，根據你機器實際的網卡修改
    interface ens33
    virtual_router_id 51
    #備用服務器上爲90
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass aminglinux
    }
    virtual_ipaddress {
        192.168.66.200        //vip 地址
    }
}
virtual_server 192.168.66.200 80 {        //vip 地址
    #(每隔10秒查詢realserver狀態)
    delay_loop 10
    #(lvs 算法)
    lb_algo wlc
    #(DR模式)
    lb_kind DR
    #(同一IP的鏈接60秒內被分配到同一臺realserver)
    persistence_timeout 60
    #(用TCP協議檢查realserver狀態)
    protocol TCP
    real_server 192.168.66.131 80 {        //rs1機器
        #(權重)
        weight 100
        TCP_CHECK {
        #(10秒無響應超時)
        connect_timeout 10
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
        }
    }
    real_server 192.168.66.132 80 {        //rs2機器
        weight 100
        TCP_CHECK {
        connect_timeout 10
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
        }
     }
}

保存退出
二、在R1和R2服務器上編寫腳本並執行，內容以下：

vi /usr/local/sbin/lvs_dr.sh

#/bin/bash
vip=192.168.142.100
#把vip綁定在lo上，是爲了實現rs直接把結果返回給客戶端
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip lo:0
#如下操做爲更改arp內核參數，目的是爲了讓rs順利發送mac地址給客戶端
#參考文檔www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

三、啓動dir130的keeplived服務

[root@dir130 ~]# systemctl start keepalived
[root@dir130 ~]# ps aux |grep keepalived
root      3006  0.0  0.1 121324  1404 ?        Ss   07:16   0:00 /usr/sbin/keepalived -D
root      3007  0.0  0.2 121448  2732 ?        S    07:16   0:00 /usr/sbin/keepalived -D
root      3008  0.0  0.2 121324  2336 ?        S    07:16   0:00 /usr/sbin/keepalived -D
root      3014  0.0  0.0 112672   984 pts/0    R+   07:16   0:00 grep --color=auto keep

四、查看ipvsadm規則

[root@dir130 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.66.200:80 wlc persistent 60
  -> 192.168.66.131:80            Route   100    0          0         
  -> 192.168.66.132:80            Route   100    0          0

五、測試
關閉其中一臺rs2的nginx服務，看會不會自動剔除

[root@rs2-132 ~]# systemctl stop nginx

在dir上查看ipvsadm規則

[root@dir130 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.66.200:80 wlc persistent 60
  -> 192.168.66.131:80            Route   100    0          0

能夠看到已經自動剔除，只剩下rs1了
把rs2的nginx服務打開，看會不會自動加入

[root@rs2-132 ~]# systemctl start nginx

在dir上查看ipvsadm規則

[root@dir130 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.66.200:80 wlc persistent 60
  -> 192.168.66.131:80            Route   100    0          0         
  -> 192.168.66.132:80            Route   100    0          0

能夠看到已經自動加入
綜上所述，keepalived 有一個比較好的功能，能夠檢測rs上服務運行的狀況，在一臺rs宕機的時候，及時把它踢出 ipvsadm 集羣，將再也不發送數據包給它，這樣很好的避免了訪問無鏈接的狀況發生
注意事項：兩點
1.打開dir機器的端口轉發

echo 1 > /proc/sys/net/ipv4/ip_forward   //打開端口轉發

二、在rs機器上建立的/usr/local/sbin/lvs_rs.sh腳本，依然要執行它

vi /usr/local/sbin/lvs_dr.sh   #內容以下

#/bin/bash
vip=192.168.142.100
#把vip綁定在lo上，是爲了實現rs直接把結果返回給客戶端
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip lo:0
#如下操做爲更改arp內核參數，目的是爲了讓rs順利發送mac地址給客戶端
#參考文檔www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

擴展
heartbeat和keepalived比較http://blog.csdn.net/yunhua_lee/article/details/9788433
DRBD工做原理和配置 http://502245466.blog.51cto.com/7559397/1298945
mysql+keepalived http://lizhenliang.blog.51cto.com/7876557/1362313
lvs 三種模式詳解 http://www.it165.net/admin/html/201401/2248.html
lvs幾種算法 http://www.aminglinux.com/bbs/thread-7407-1-1.html
關於arp_ignore和 arp_announce http://www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html
lvs原理相關的 http://blog.csdn.net/pi9nc/article/details/23380589
haproxy+keepalived http://blog.csdn.net/xrt95050/article/details/40926255
nginx、lvs、haproxy比較 http://www.csdn.net/article/2014-07-24/2820837
keepalived中自定義腳本 vrrp_script http://my.oschina.net/hncscwc/blog/158746
lvs dr模式只使用一個公網ip的實現方法 http://storysky.blog.51cto.com/628458/338726

相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程