18.11 LVS DR模式搭建

時間 2019-11-16

原文原文鏈接

LVS DR模式搭建

DR模式搭建 – 準備工做
三臺機器
分發器，也叫調度器（簡寫爲dir）
133.130
rs1
133.132
rs2
133.133
vip
133.200
DR模式搭建
- dir上編寫腳本 vim /usr/local/sbin/lvs_dr.sh //內容以下

#! /bin/bash
echo 1 > /proc/sys/net/ipv4/ip_forward
ipv=/usr/sbin/ipvsadm
vip=192.168.133.200
rs1=192.168.133.132
rs2=192.168.133.133
#注意這裏的網卡名字
ifconfig ens33:2 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip dev ens33:2
$ipv -C
$ipv -A -t $vip:80 -s wrr
$ipv -a -t $vip:80 -r $rs1:80 -g -w 1
$ipv -a -t $vip:80 -r $rs2:80 -g -w 1

兩臺rs上也編寫腳本 vim /usr/local/sbin/lvs_rs.sh//內容以下

#/bin/bash
vip=192.168.133.200
#把vip綁定在lo上，是爲了實現rs直接把結果返回給客戶端
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip lo:0
#如下操做爲更改arp內核參數，目的是爲了讓rs順利發送mac地址給客戶端
#參考文檔www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

分別在dir上和兩個rs上執行這些腳本
測試

LVS DR模式搭建

在生產環境用中的比較多的是DR模式，NAT模式有瓶頸，節省公網IP，對小公司來講公網IP也是花錢的，若是是配置的多臺機器，每臺機器都去配置一個公網IP就是很浪費資源的狀況，並且當下公網IP愈來愈少；html
另外一種方案，搭建內部的lvs，所有都用內網，包括VIP也用內網，用一個公網IP作一個映射；公網的80端口映射到內網VIP的80端口，這樣能夠節省IPvim

準備工做

DR模式，準備三臺機器，只須要有有一個網卡，一個IP

分發器，也叫調度器（簡寫爲dir）
- 133.130
rs1
- 202.131
rs2
- 202.133
vip
- 133.200
vip綁定在全部的機器上，不只分發器須要綁定，還有rs須要綁定

保證機器均可以通訊
在dir分發器（即A機器）上編寫腳本，在/usr/local/sbin/lvs_dr.sh編輯

[root@hanfeng ~]#  vim /usr/local/sbin/lvs_dr.sh

#! /bin/bash
echo 1 > /proc/sys/net/ipv4/ip_forward
#打開端口轉發
ipv=/usr/sbin/ipvsadm
#這是一個變量
vip=192.168.202.200
rs1=192.168.202.131
rs2=192.168.202.133
#注意這裏的網卡名字
ifdown ens37
ifup ens37
ifconfig ens37:2 $vip broadcast $vip netmask 255.255.255.255 up
#//給一個網卡設置一個虛擬網卡
route add -host $vip dev ens37:2
$ipv -C
$ipv -A -t $vip:80 -s wrr
$ipv -a -t $vip:80 -r $rs1:80 -g -w 1
#這裏-g 指定DR模式
$ipv -a -t $vip:80 -r $rs2:80 -g -w 1

保存退出

啓動分發器上的腳本

[root@hanfeng ~]# sh /usr/local/sbin/lvs_dr.sh
Connection successfully activated (D-Bus active path: /org/freedesktop/NetworkManager/ActiveConnection/8)
[root@hanfeng ~]#

這裏執行腳本出來的信息是沒有錯的，由於有ifdown ens37和ifup ens37重啓網卡

在兩臺rs上寫腳本（即B機器和C機器），在 /usr/local/sbin/lvs_rs.sh 編輯

B機器
[root@hf-02 ~]# vi /usr/local/sbin/lvs_rs.sh

#/bin/bash
vip=192.168.202.200
#把vip綁定在lo上，是爲了實現rs直接把結果返回給客戶端
ifdown lo
ifup lo
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip lo:0
#如下操做爲更改arp內核參數，目的是爲了讓rs順利發送mac地址給客戶端
#參考文檔www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
保存退出

C機器同上

腳本定義/lo/arp_ignore和/all/arp_ignore的理解：瀏覽器
- arp_ignore:定義對目標地址爲本地IP的ARP詢問不一樣的應答模式0
  - 0 - (默認值): 迴應任何網絡接口上對任何本地IP地址的arp查詢請求
  - 1 - 只回答目標IP地址是來訪網絡接口本地地址的ARP查詢請求
  - 2 -只回答目標IP地址是來訪網絡接口本地地址的ARP查詢請求,且來訪IP必須在該網絡接口的子網段內
  - 3 - 不迴應該網絡界面的arp請求，而只對設置的惟一和鏈接地址作出迴應
  - 4-7 - 保留未使用
  - 8 -不迴應全部（本地地址）的arp查詢
腳本定義/lo/arp_announce和/all/arp_announce的理解緩存
- arp_announce:對網絡接口上，本地IP地址的發出的，ARP迴應，做出相應級別的限制: 肯定不一樣程度的限制,宣佈對來自本地源IP地址發出Arp請求的接口
  - 0 - (默認) 在任意網絡接口（eth0,eth1，lo）上的任何本地地址
  - 1 -儘可能避免不在該網絡接口子網段的本地地址作出arp迴應. 當發起ARP請求的源IP地址是被設置應該經由路由達到此網絡接口的時候頗有用.此時會檢查來訪IP是否爲全部接口上的子網段內ip之一.若是改來訪IP不屬於各個網絡接口上的子網段內,那麼將採用級別2的方式來進行處理.
  - 2 - 對查詢目標使用最適當的本地地址.在此模式下將忽略這個IP數據包的源地址並嘗試選擇與能與該地址通訊的本地地址.首要是選擇全部的網絡接口的子網中外出訪問子網中包含該目標IP地址的本地地址. 若是沒有合適的地址被發現,將選擇當前的發送網絡接口或其餘的有可能接受到該ARP迴應的網絡接口來進行發送.

執行B機器和C機器的腳本

sh /usr/local/sbin/lvs_rs.sh

在B機器和C機器執行命令 route -n 能看到有一個vip的路由 192.168.202.200

B機器
[root@hf-02 ~]# route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         192.168.202.2   0.0.0.0         UG    100    0        0 ens32
192.168.202.0   0.0.0.0         255.255.255.0   U     100    0        0 ens32
192.168.202.200 0.0.0.0         255.255.255.255 UH    0      0        0 lo
[root@hf-02 ~]# 

C機器同上

用ip add命令查看，會看到 lo網卡上有一個vip，設定了一個IP

B機器
[root@hf-02 ~]# ip add
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet 192.168.202.200/32 brd 192.168.202.200 scope global lo:0
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens32: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:e3:68:95 brd ff:ff:ff:ff:ff:ff
    inet 192.168.202.133/24 brd 192.168.202.255 scope global ens32
       valid_lft forever preferred_lft forever
    inet6 fe80::babb:1944:3d05:ff65/64 scope link 
       valid_lft forever preferred_lft forever
[root@hf-02 ~]# 

C機器同上

在dir分發器上（即A機器），用ip add命令查看，會看到ens37綁定了192.168.202.200

A機器
[root@hanfeng ~]# ip add
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN 
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: eno16777736: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:ff:45:8f brd ff:ff:ff:ff:ff:ff
    inet 192.168.202.130/24 brd 192.168.202.255 scope global eno16777736
       valid_lft forever preferred_lft forever
    inet 192.168.202.150/24 brd 192.168.202.255 scope global secondary eno16777736:0
       valid_lft forever preferred_lft forever
    inet6 fe80::20c:29ff:feff:458f/64 scope link 
       valid_lft forever preferred_lft forever
3: ens37: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:ff:45:99 brd ff:ff:ff:ff:ff:ff
    inet 192.168.80.100/24 brd 192.168.80.255 scope global ens37
       valid_lft forever preferred_lft forever
    inet 192.168.202.200/32 brd 192.168.202.200 scope global ens37:2
       valid_lft forever preferred_lft forever
    inet6 fe80::20c:29ff:feff:4599/64 scope link 
       valid_lft forever preferred_lft forever
[root@hanfeng ~]#

測試

用curl命令訪問這個vip（curl測試vip在rs上不太好用的，由於在本機綁定了這個vip，如果訪問vip，等於訪問本身），可是直接在A機器上去訪問vip會發現失敗，只能再開一個虛擬機來測試，不過用 ipvsadm -ln 命令，會看到ActiveConn都會有變化，表示實驗成功

A機器
[root@hanfeng ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.202.200:80 wrr
  -> 192.168.202.131:80           Route   1      0          1         
  -> 192.168.202.133:80           Route   1      1          0         
[root@hanfeng ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.202.200:80 wrr
  -> 192.168.202.131:80           Route   1      1          0         
  -> 192.168.202.133:80           Route   1      2          0         
[root@hanfeng ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.202.200:80 wrr
  -> 192.168.202.131:80           Route   1      1          1         
  -> 192.168.202.133:80           Route   1      0          2         
[root@hanfeng ~]#

由於瀏覽器有緩存，因此沒有辦法及時的查看到lvs負載均衡的效果；可是經過刷新瀏覽器VIP地址，而後在dir機器是上查看ipvsadm的狀況，能夠發現，每一次刷新，ActiveConn都會有變化，刷新次數到必定數量是，InActConn也會產生變回，可見咱們的實驗是成功的。
這時問題就來了，若是由於有緩存，就沒有辦法及時的查看到瀏覽器的變化，咱們如何肯定負載均衡是否成功？其實這些都是不用擔憂的，由於當訪問量達到必定數量時，負載均衡的效果就會慢慢的顯示出來，如同咱們實驗同樣，正是由於訪問量小，咱們看到的頁面都是同樣；