初探LVS NAT、DR、keepalived

 LB、LVS介紹
LB集羣是load balance 集羣的簡寫，翻譯成中文就是負載均衡集羣

 

LVS是一個實現負載均衡集羣的開源軟件項目 
LVS架構從邏輯上可分爲調度層(Director)、server集羣層(Real server)和共享存儲層
LVS可分爲三種工做模式: 

NAT(調度器將請求的目標ip即vip地址改成Real server的ip, 返回的數據包也通過調度器，調度器再把源地址修改成vip)

TUN(調度器將請求來的數據包封裝加密經過ip隧道轉發到後端的real server上，而real server會直接把數據返回給客戶端，而再也不通過調度器), DR(調度器將請求來的數據包的目標mac地址改成real server的mac地址，返回的時候也不通過調度器，直接返回給客戶端)

 

 

三種IP：DIP(driector ip), VIP(virtual ip), RIP(Real IP). 其中DIP, RIP 爲同一個網段，而且爲私網IP, vip爲對外提供服務的ip，Director, Real server上都設置vip
LVS的調度算法：輪叫調度(Round Robin)(簡稱rr) ,加權輪叫(Weighted Round Robin)(簡稱wrr),最少連接(least connection)(LC),加權最少連接(Weighted Least Connections)(WLC) 等等    

---

NAT模式:
三臺機器：
A機：雙網卡eth0:192.168.254.130 eth1:192.168.1.130（橋接，可看做公網ip）
B機：192.168.254.131
C機：192.168.254.133
A：dir   B：rs1    c：rs2
A、B、C：須要裝nginx
若是nginx沒有在yum源上
wget www.lishiming.net/data/attachment/forum/epel-release-6-8_64.noarch.rpm
rpm -ivh epel-release-6-8_64.noarch.rpm
yum install -y nginx

A機操做：
[root@dir ~]#yum install -y ipvsadm
[root@dir ~]#vim /usr/local/sbin/lvs_nat.sh
#!/bin/bash
#director服務器開啓路由轉發功能
echo 1 > /proc/sys/net/ipv4/ip_forward
#關閉icmp的重定向echo 0 > /proc/sys/net/ipv4/conf/all/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/default/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/eth0/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/eth1/send_redirects
#director設置NAT防火牆iptables -t nat -Fiptables -t nat -X
iptables -t nat -A POSTROUTING -s 192.168.254.0/24 -j MASQUERADE
#director設置ipvsadm
ipvsadm='/sbin/ipvsadm'
$ipvsadm -C
$ipvsadm -A -t 192.168.1.130:80 -s rr
$ipvsadm -a -t 192.168.1.130:80 -r 192.168.254.131:80 -m
$ipvsadm -a -t 192.168.1.130:80 -r 192.168.254.133:80 -m
[root@dir ~]# sh /usr/local/sbin/lvs_nat.sh
[root@dir ~]# ipvsadm -l

B、C機操做：
#修改gateway
vim /etc/sysconfig/network-scripts/ifcfg-eth0

測試：
網頁端不太好測試，由於有緩存

 

---

 

DR模式：
A：192.168.122.129
B：192.168.122.140
C：192.168.122.141

A:
ipvsadm -C
iptables -t nat -F
ifdown eth1

vim /usr/local/sbin/lvs_dr.sh
#!/bin/bash
echo 1 > /proc/sys/net/ipv4/ip_forward
ipv=/sbin/ipvsadm
vip=192.168.122.139
rs1=192.168.122.140
rs2=192.168.122.141
ifconfig eth0:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip dev eth0:0
$ipv -C
$ipv -A -t $vip:80 -s rr
$ipv -a -t $vip:80 -r $rs1:80 -g -w 1
$ipv -a -t $vip:80 -r $rs2:80 -g -w 1

sh /usr/local/sbin/lvs_nat.sh
ipvsadm -ln

B、C：
vim /usr/local/sbin/lvs_rs1.sh
#!/bin/bash
vip=192.168.122.139
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip lo:0
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
sh /usr/local/sbin/lvs_rs1.sh
測試：
需在新的機器上測試：

 

---

 

LVS結合keepalived:

A（dir） B(rs2) C(rs1)
在B上實現，若是C當掉,或者A當掉，B可以自動啓動LVS DR，這裏作的DR模式
A：
這裏只留下eth0:192.168.122.129 這一個網卡
ipvsadm -C
yum install -y keepalived
vim /etc/keepalived/keepalived.conf
vrrp_instance VI_1 {
state MASTER
interface eth0
virtual_router_id 51
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.122.139
}
}
virtual_server 192.168.122.139 80 {
delay_loop 6
lb_algo rr
lb_kind DR
persistence_timeout 0
protocol TCP

real_server 192.168.122.140 80 {
weight 100
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
connect_port 80
}
}
real_server 192.168.122.141 80 {
weight 100
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
connect_port 80
}
}
}
複製配置文件以前須要在B上安裝keepalived
scp /etc/keepalived/keepalived.conf 192.168.122.141:/etc/keepalived/keepalived.conf
/etc/init.d/keepalived start
ipvsadm -ln
ip addr
B：
yum install -y keepalived
vim /etc/keepalived/keepalived.conf
vrrp_instance VI_1 {
state BACKUP #這裏須要更改成BACKUP
interface eth0
virtual_router_id 51
priority 99 #這裏爲99 或者90，比100小點
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.122.139
}
}
virtual_server 192.168.122.139 80 {
delay_loop 6
lb_algo rr
lb_kind DR
persistence_timeout 0
protocol TCP

real_server 192.168.122.140 80 {
weight 100
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
connect_port 80
}
}
real_server 192.168.122.141 80 {
weight 100
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
connect_port 80
}
}
}
/etc/init.d/keepalived start
yum install -y ipvsadm
ipvsadm -ln
ip addr

測試：

須要用其餘虛擬機測試

都啓動的狀況：（3次rs1,1次rs2）

 

 rs1當掉：（只有rs2）

dir當掉：（一次rs1，一次rs2）