LVS DR模式搭建 和 keepalived + LVS

時間  2019-11-06
標籤 lvs 模式 搭建 keepalived 欄目 負載均衡 简体版
原文   原文鏈接

 

 7月5日任務
18.11 LVS DR模式搭建
18.12 keepalived + LVS

擴展：
haproxy+keepalived http://blog.csdn.net/xrt95050/article/details/40926255
nginx、lvs、haproxy比較 http://www.csdn.net/article/2014-07-24/2820837
keepalived中自定義腳本 vrrp_script http://my.oschina.net/hncscwc/blog/158746
lvs dr模式只使用一個公網ip的實現方法 http://storysky.blog.51cto.com/628458/338726html

LVS DR模式搭建概述

  • DR模式搭建 – 準備工做
  • 三臺機器
  • 分發器，也叫調度器（簡寫爲dir）180.134
  • rs1  180.135
  • rs2  180.138
  • vip  180.200
  • DR模式搭建  dir上編寫腳本 vim /usr/local/sbin/lvs_dr.sh //內容以下
#! /bin/bash
echo 1 > /proc/sys/net/ipv4/ip_forward
ipv=/usr/sbin/ipvsadm
vip=192.168.180.200
rs1=192.168.180.135
rs2=192.168.180.138
#注意這裏的網卡名字
ifconfig ens33:2 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip dev ens33:2
$ipv -C
$ipv -A -t $vip:80 -s wrr
$ipv -a -t $vip:80 -r $rs1:80 -g -w 1
$ipv -a -t $vip:80 -r $rs2:80 -g -w 1
  • 兩臺rs上也編寫腳本 vim /usr/local/sbin/lvs_rs.sh//內容以下
#/bin/bash
vip=192.168.180.200
#把vip綁定在lo上，是爲了實現rs直接把結果返回給客戶端
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip lo:0
#如下操做爲更改arp內核參數，目的是爲了讓rs順利發送mac地址給客戶端
#參考文檔www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
  • 分別在dir上和兩個rs上執行這些腳本
  • 測試

LVS DR模式搭建

  • 在生產環境用中的比較多的是DR模式，NAT模式有瓶頸，節省公網IP，對小公司來講公網IP也是花錢的，若是是配置的多臺機器，每臺機器都去配置一個公網IP就是很浪費資源的狀況，並且當下公網IP愈來愈少；linux

  • 另外一種方案，搭建內部的lvs，所有都用內網，包括VIP也用內網，用一個公網IP作一個映射；公網的80端口映射到內網VIP的80端口，這樣能夠節省IPnginx

準備工做

  • DR模式，準備三臺機器，只須要有有一個網卡，一個IP
  • 分發器，也叫調度器（簡寫爲dir）180.134
  • rs1    180.135
  • rs2    180.138
  • vip    180.200
  • vip綁定在全部的機器上，不只分發器須要綁定，還有rs須要綁定
  1. 保證機器均可以通訊
  2. 在dir分發器（即A機器）上編寫腳本，在/usr/local/sbin/lvs_dr.sh編輯
[root@yong-01 ~]# vim /usr/local/sbin/lvs_dr.sh 
#! /bin/bash
echo 1 > /proc/sys/net/ipv4/ip_forward
#打開端口轉發
ipv=/usr/sbin/ipvsadm
#這是一個變量
vip=192.168.180.200
rs1=192.168.180.135
rs2=192.168.180.138
#注意這裏的網卡名字
ifdown ens33
ifup ens33
ifconfig ens33:2 $vip broadcast $vip netmask 255.255.255.255 up
#//給一個網卡設置一個虛擬網卡
route add -host $vip dev ens33:2
$ipv -C
$ipv -A -t $vip:80 -s wrr
$ipv -a -t $vip:80 -r $rs1:80 -g -w 1
#這裏-g 指定DR模式
$ipv -a -t $vip:80 -r $rs2:80 -g -w 1
  • 啓動分發器上的腳本
[root@yong-01 ~]# sh /usr/local/sbin/lvs_dr.sh 
成功斷開設備 'ens33'。
鏈接已成功激活（D-Bus 活動路徑：/org/freedesktop/NetworkManager/ActiveConnection/3）
  • 這裏執行腳本出來的信息是沒有錯的，由於有ifdown ens33和ifup ens33重啓網卡
  • 在兩臺rs上寫腳本（即B機器和C機器），在 /usr/local/sbin/lvs_rs.sh 編輯
B機器
[root@yong-02 ~]# vim /usr/local/sbin/lvs_rs.sh

#/bin/bash
vip=192.168.180.200
#把vip綁定在lo上，是爲了實現rs直接把結果返回給客戶端
ifdown lo
ifup lo
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip lo:0
#如下操做爲更改arp內核參數，目的是爲了讓rs順利發送mac地址給客戶端
#參考文檔www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

C機器同上

  • 腳本定義/lo/arp_ignore和/all/arp_ignore的理解：git

    • arp_ignore:定義對目標地址爲本地IP的ARP詢問不一樣的應答模式0
      • 0 - (默認值): 迴應任何網絡接口上對任何本地IP地址的arp查詢請求
      • 1 - 只回答目標IP地址是來訪網絡接口本地地址的ARP查詢請求
      • 2 -只回答目標IP地址是來訪網絡接口本地地址的ARP查詢請求,且來訪IP必須在該網絡接口的子網段內
      • 3 - 不迴應該網絡界面的arp請求，而只對設置的惟一和鏈接地址作出迴應
      • 4-7 - 保留未使用
      • 8 -不迴應全部（本地地址）的arp查詢

  • 腳本定義/lo/arp_announce和/all/arp_announce的理解web

    • arp_announce:對網絡接口上，本地IP地址的發出的，ARP迴應，做出相應級別的限制: 肯定不一樣程度的限制,宣佈對來自本地源IP地址發出Arp請求的接口
      • 0 - (默認) 在任意網絡接口（eth0,eth1，lo）上的任何本地地址
      • 1 -儘可能避免不在該網絡接口子網段的本地地址作出arp迴應. 當發起ARP請求的源IP地址是被設置應該經由路由達到此網絡接口的時候頗有用.此時會檢查來訪IP是否爲全部接口上的子網段內ip之一.若是改來訪IP不屬於各個網絡接口上的子網段內,那麼將採用級別2的方式來進行處理.
      • 2 - 對查詢目標使用最適當的本地地址.在此模式下將忽略這個IP數據包的源地址並嘗試選擇與能與該地址通訊的本地地址.首要是選擇全部的網絡接口的子網中外出訪問子網中包含該目標IP地址的本地地址. 若是沒有合適的地址被發現,將選擇當前的發送網絡接口或其餘的有可能接受到該ARP迴應的網絡接口來進行發送.
  • 執行B機器和C機器的腳本
sh /usr/local/sbin/lvs_rs.sh
  • 在B機器和C機器執行命令 route -n 能看到有一個vip的路由 192.168.180.200
B機器
[root@yong-02 ~]# route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         192.168.180.2   0.0.0.0         UG    100    0        0 ens33
192.168.180.0   0.0.0.0         255.255.255.0   U     100    0        0 ens33
192.168.180.200 0.0.0.0         255.255.255.255 UH    0      0        0 lo

C機器同上
  • 用ip add命令查看，會看到 lo網卡上有一個vip，設定了一個IP 180.200
B機器
[root@yong-02 ~]# ip add
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet 192.168.180.200/32 brd 192.168.180.200 scope global lo:0
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:36:a2:be brd ff:ff:ff:ff:ff:ff
    inet 192.168.180.135/24 brd 192.168.180.255 scope global ens33
       valid_lft forever preferred_lft forever
    inet 192.168.180.136/24 brd 192.168.180.255 scope global secondary ens33:0
       valid_lft forever preferred_lft forever
    inet6 fe80::c44:f02d:4192:8d42/64 scope link 
       valid_lft forever preferred_lft forever
3: ens37: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:36:a2:c8 brd ff:ff:ff:ff:ff:ff

C機器同上
  • 在dir分發器上（即A機器），用ip add命令查看，會看到ens33綁定了192.168.180.200
A機器
[root@yong-01 ~]# ip add
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:29:2b:60 brd ff:ff:ff:ff:ff:ff
    inet 192.168.180.134/24 brd 192.168.180.255 scope global ens33
       valid_lft forever preferred_lft forever
    inet 192.168.180.200/32 brd 192.168.180.200 scope global ens33:2
       valid_lft forever preferred_lft forever
    inet6 fe80::8004:45b5:96c5:3ca5/64 scope link 
       valid_lft forever preferred_lft forever
3: ens37: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:29:2b:6a brd ff:ff:ff:ff:ff:ff
    inet 192.168.142.144/24 brd 192.168.142.255 scope global ens37
       valid_lft forever preferred_lft forever
    inet6 fe80::af5:df02:5a53:e408/64 scope link 
       valid_lft forever preferred_lft forever

測試

  • 用curl命令訪問這個vip（curl測試vip在rs上不太好用的，由於在本機綁定了這個vip，如果訪問vip，等於訪問本身），可是直接在A機器上去訪問vip會發現失敗，只能再開一個虛擬機來測試，不過用 ipvsadm -ln 命令，會看到ActiveConn都會有變化，表示實驗成功
A機器
[root@yong-01 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.180.200:80 wrr
  -> 192.168.180.135:80           Route   1      1          1         
  -> 192.168.180.138:80           Route   1      2          1
  • 由於瀏覽器有緩存，因此沒有辦法及時的查看到lvs負載均衡的效果；可是經過刷新瀏覽器VIP地址，而後在dir機器是上查看ipvsadm的狀況，能夠發現，每一次刷新，ActiveConn都會有變化，刷新次數到必定數量是，InActConn也會產生變回，可見咱們的實驗是成功的。
  • 這時問題就來了，若是由於有緩存，就沒有辦法及時的查看到瀏覽器的變化，咱們如何肯定負載均衡是否成功？其實這些都是不用擔憂的，由於當訪問量達到必定數量時，負載均衡的效果就會慢慢的顯示出來，如同咱們實驗同樣，正是由於訪問量小，咱們看到的頁面都是同樣；

總結

  • lvs 不論是nat 仍是dr 模式 配置過程都挺簡單的，須要注意的是修改內核參數，打開端口轉發；NAT模式比較重要的是就是rs的網關爲dir的IP

Keepalived+LVS DR 概述

  • 完整架構須要兩臺服務器（角色爲dir）分別安裝keepalived軟件，目的是實現高可用，但keepalived自己也有負載均衡的功能，因此本次實驗能夠只安裝一臺keepalived
  • keepalived內置了ipvsadm的功能，因此不須要再安裝ipvsadm包，也不用編寫和執行那個lvs_dir的腳本
  • 三臺機器分別爲：
  • dir（安裝keepalived）180.134
  • rs1 180.135
  • rs2 180.138
  • vip 180.200
  • 編輯keepalived配置文件 vim /etc/keepalived/keepalived.conf//內容地址
  • 須要更改裏面的ip信息
  • 執行ipvsadm -C 把以前的ipvsadm規則清空掉
  • systemctl restart network 能夠把以前的vip清空掉
  • 兩臺rs上，依然要執行/usr/local/sbin/lvs_rs.sh腳本
  • keepalived有一個比較好的功能，能夠在一臺rs宕機時，再也不把請求轉發過去
  • 測試

Keepalived+LVS DR

  • 完整架構須要兩臺服務器（角色爲dir）分別安裝keepalived軟件，目的是實現高可用，但keepalived自己也有負載均衡的功能，因此本次實驗能夠只安裝一臺keepalived
  • 爲何須要把keepalived 加到lvs 中的目的是什麼？
    • 緣由一：lvs，它有個關鍵角色，就是dir分發器，若是分發器宕掉，那全部的訪問就會被終止，由於全部的入口全都在dir分發器上，因此須要把分發器作一個高可用，用keepalived實現高可用，而且keepalived還有負載均衡的做用。
    • 緣由二：在使用lvs的時候，若是沒有額外的操做，這時將一個rs機器關機（宕機）時，lvs照樣會分發數據到這臺宕機機器，這是就會出現訪問無效的狀況，說明lvs並不聰明；這時使用keepalived，就能夠保證集羣中其中一臺rs宕機了，web還能正常提供，不會出現用戶訪問時無效連接的結果；通常這種架構，確定是2臺keepalived；
  • 由於keepalived內置了ipvsadm的功能，因此再也不須要安裝ipvsadm的包，也不用再編寫和執行.sh腳本

準備工做

準備三臺機器，分別爲算法

  • dir（安裝keepalived）180.134
  • rs1 180.135
  • rs2 180.138
  • vip 180.200

在dir分發器（A機器）上，清空ipvsadm規則，並查看ipvsadm規則，會發現已經清空vim

[root@yong-01 ~]# ipvsadm -C
[root@yong-01 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
  • 在分發器（即A機器）上編輯配置文件，在/etc/keepalived/keepalived.conf 配置，配置文件內容
  • 由於以前作實驗裏面編輯過配置文件，這時直接刪除，而後粘貼新的配置文件
    • 修改配置文件中的網卡、vip ，還有rs機器上的IP
[root@yong-01 ~]# >/etc/keepalived/keepalived.conf 
[root@yong-01 ~]# vim /etc/keepalived/keepalived.conf 

vrrp_instance VI_1 {
    #備用服務器上爲 BACKUP
    state MASTER
    #綁定vip的網卡爲ens33，你的網卡和阿銘的可能不同，這裏須要你改一下
    interface ens33
    virtual_router_id 51
    #備用服務器上爲90
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass aminglinux
    }
    virtual_ipaddress {
        192.168.180.200        //vip 地址
    }
}
virtual_server 192.168.180.200 80 {        //vip 地址
    #(每隔10秒查詢realserver狀態)
    delay_loop 10
    #(lvs 算法)
    lb_algo wlc
    #(DR模式)
    lb_kind DR
    #(同一IP的鏈接60秒內被分配到同一臺realserver)
    persistence_timeout 60
    #(用TCP協議檢查realserver狀態)
    protocol TCP
    real_server 192.168.180.135 80 {        //rs1機器
        #(權重)
        weight 100
        TCP_CHECK {
        #(10秒無響應超時)
        connect_timeout 10
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
        }
    }
    real_server 192.168.180.138 80 {        //rs2機器
        weight 100
        TCP_CHECK {
        connect_timeout 10
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
        }
     }
}
  • 啓動nginx服務，查看nginx進程，查看keepalived服務
[root@yong-01 ~]# systemctl start nginx
[root@yong-01 ~]# ps aux |grep nginx
root      2290  0.0  0.0  24792   756 ?        Ss   22:31   0:00 nginx: master process /usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf
nobody    2291  0.0  0.0  25188  1212 ?        S    22:31   0:00 nginx: worker process
root      2319  0.0  0.0 112676   984 pts/0    R+   22:32   0:00 grep --color=auto nginx
[root@yong-01 ~]# ps aux |grep keepalived
root      2303  0.0  0.0 118608  1384 ?        Ss   22:31   0:00 /usr/sbin/keepalived -D
root      2304  0.0  0.1 127472  3344 ?        S    22:31   0:00 /usr/sbin/keepalived -D
root      2305  0.0  0.1 127340  2612 ?        S    22:31   0:00 /usr/sbin/keepalived -D
root      2321  0.0  0.0 112676   984 pts/0    R+   22:32   0:00 grep --color=auto keepalived
  • 查看IP，會看到虛擬IP依然存在
root      2321  0.0  0.0 112676   984 pts/0    R+   22:32   0:00 grep --color=auto keepalived
[root@yong-01 ~]# ip add
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:29:2b:60 brd ff:ff:ff:ff:ff:ff
    inet 192.168.180.134/24 brd 192.168.180.255 scope global ens33
       valid_lft forever preferred_lft forever
    inet 192.168.180.200/32 brd 192.168.180.200 scope global ens33:2
       valid_lft forever preferred_lft forever
    inet6 fe80::8004:45b5:96c5:3ca5/64 scope link 
       valid_lft forever preferred_lft forever
  • 查看ipvsadm規則
[root@yong-01 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.180.200:80 wlc persistent 60
  -> 192.168.180.135:80           Route   100    0          0         
  -> 192.168.180.138:80           Route   100    0          0
  • 這時關閉keepalived服務，再來查看ip，會到虛擬IP停掉了
[root@yong-01 ~]# systemctl stop keepalived
[root@yong-01 ~]# ip add
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:29:2b:60 brd ff:ff:ff:ff:ff:ff
    inet 192.168.180.134/24 brd 192.168.180.255 scope global ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::8004:45b5:96c5:3ca5/64 scope link 
       valid_lft forever preferred_lft forever
  • 再來查看規則，會發現沒有啓動規則
[root@yong-01 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
  • 這時啓動keepalived，再來查看規則
[root@yong-01 ~]# systemctl start keepalived
[root@yong-01 ~]# ps aux |grep keep
root      2341  0.0  0.0 118608  1388 ?        Ss   22:35   0:00 /usr/sbin/keepalived -D
root      2342  0.0  0.1 127472  3344 ?        S    22:35   0:00 /usr/sbin/keepalived -D
root      2343  0.0  0.1 127340  2616 ?        S    22:35   0:00 /usr/sbin/keepalived -D
root      2357  0.0  0.0 112676   984 pts/0    R+   22:35   0:00 grep --color=auto keep
[root@yong-01 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.180.200:80 wlc persistent 60
  -> 192.168.180.135:80           Route   100    0          0         
  -> 192.168.180.138:80           Route   100    0          0
  • 注意事項：兩點
  • 1打開dir機器的端口轉發
echo 1 > /proc/sys/net/ipv4/ip_forward   //打開端口轉發
  • 2在rs機器上建立的/usr/local/sbin/lvs_rs.sh腳本，依然要執行它
#把vip綁定在lo上，是爲了實現rs直接把結果返回給客戶端

ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip lo:0

#如下操做爲更改arp內核參數，目的是爲了讓rs順利發送mac地址給客戶端

echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore  
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

總結

  • keepalived 有一個比較好的功能，能夠在一臺rs宕機的時候，及時把他踢出 ipvsadm 集羣，將再也不發送數據包給，也就很好的避免的訪問無鏈接的狀況發送
相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程