負載均衡集羣介紹、LVS介紹、LVS調度算法、LVS NAT模式搭建

18.6 負載均衡集羣介紹

• 主流開源軟件LVS、keepalived、haproxy、Nginx等
• 其中LVS屬於4層（網絡OSI 7層模型），nginx屬於7層，haproxy既能夠認爲是4層，能夠當作7層使用
• keepalived的負載均衡功能其實就是lvs
• lvs這種4層的負載均衡是能夠分發除80外的其餘端口通訊的，好比MySQL的，而Nginx僅僅支持HTTP，HTTPS，mail，haproxy也支持MySQL這種
• 相比較來講，LVS這種4層的更穩定，能承受更多的請求，而Nginx這種7層的更加靈活，能實現更多的個性化需求

18.7 LVS介紹

• LVS是由國人章文嵩開發
• 流行度不亞於Apache的httpd，基於TCP/IP作的路由和轉發，穩定性和效率很高
• LVS最新版本基於Linux內核2.6，有好多年不更新了
• LVS有三種常見的模式：NAT、DR、IP、Tunnel
• LVS架構中有一個核心角色叫作分發器（Load Runner），它用來分發用戶的請求，還有諸多處理用戶請求的服務器（Real Server，簡稱rs）

LVS NAT模式

• 這種模式藉助iptables的nat表來實現
• 用戶的請求到分發器後，經過預設的iptables規則，把請求的數據包轉發到後端的rs上去
• rs須要設定網關爲分發器的內網ip
• 用戶請求的數據包和返回給用戶的數據包所有通過分發器，因此分發器成爲瓶頸
• 在nat模式中，是須要分發器有公網ip便可，因此比較節省公網ip資源

LVS IP Tunnel模式

• 這種模式，須要有一個公共的IP配置在分發器和全部rs上，咱們把它叫作vip
• 客戶端請求的目標IP爲vip，分發器接收到請求數據包後，會對數據包作一個加工，會把目標IP改成rs的IP，這樣數據包就到了rs上
• rs接收數據包後，會還原原始數據包，這樣目標IP爲vip，由於全部rs上配置了這個vip，因此它會認爲是它本身

LVS DR模式

• 這種模式，也須要有一個公共的IP配置在分發器和全部rs上，也就是vip
• 和IP Tunnel不一樣的是，他會把數據包的Mac地址修改成rs的Mac地址
• rs接收數據包後，會還原原始數據包，這樣目標IP爲vip，由於全部rs上配置了這個vip，因此它會認爲是它本身

18.8 LVS調度算法

• 輪詢 Round-Robin rr
• 加權輪詢 Weight Round-Robin wrr
• 最小鏈接 Least-Connection lc
• 加權最小鏈接 Weight Least-Connection wlc
• 基於局部性的最小鏈接 Locality-Based Least Connections lblc
• 帶複製的基於局部性最小鏈接 Locality-Based Least Connections with Replication lblcr
• 目標地址散列調度 Destination Hashing dh
• 源地址散列調度 Source Hashing sh

18.9-18.10 LVS NAT模式搭建

NAT模式搭建-準備工做

• 三臺機器
• 分發器，也叫調度器（簡寫爲dir）
• 內網：192.168.0.130/24 ，外網：192.168.147.144 （VMware僅主機模式）
  

[root@taoyuan ~]# hostnamectl set-hostname qingyun-01
#進入個子shell
[root@taoyuan ~]# bash
[root@qingyun-01 ~]#

• rs1
  • 內網：192.168.0.132/24，設置網關爲192.168.0.130

[root@qingyun-02 html]# route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         192.168.0.130   0.0.0.0         UG    100    0        0 ens33
192.168.0.0     0.0.0.0         255.255.255.0   U     100    0        0 ens33

• rs2
  • 內網：192.168.0.133/24，設置網關爲192.168.0.130

[root@qingyun-03 html]# route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         192.168.0.130   0.0.0.0         UG    100    0        0 ens33
192.168.0.0     0.0.0.0         255.255.255.0   U     100    0        0 ens33

• 三臺機器上都執行，關閉防火牆
• systemctl stop firewalld;systemctl disable firewalld

#因爲3臺是從新，都關閉防火牆
[root@qingyun-01 ~]# systemctl stop firewalld
[root@qingyun-01 ~]# systemctl disable firewalld
Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.

[root@qingyun-01 ~]# iptables -nvL
Chain INPUT (policy ACCEPT 0 packets, 0 bytes)
 pkts bytes target     prot opt in     out     source               destination         

Chain FORWARD (policy ACCEPT 0 packets, 0 bytes)
 pkts bytes target     prot opt in     out     source               destination         

Chain OUTPUT (policy ACCEPT 0 packets, 0 bytes)
 pkts bytes target     prot opt in     out     source               destination         

[root@qingyun-03 ~]# yum install -y iptables-services

#若是安裝很慢，能夠取消epel
#把/etc/yum.repos.d/目錄下epel.repo 改一下名字

#查看包安裝的文件
[root@qingyun-01 yum.repos.d]# rpm -ql iptables-services
/etc/sysconfig/ip6tables
/etc/sysconfig/iptables
/usr/lib/systemd/system/ip6tables.service
/usr/lib/systemd/system/iptables.service

#啓動iptables.service
[root@qingyun-01 yum.repos.d]# systemctl start iptables
[root@qingyun-01 yum.repos.d]# systemctl enable iptables
Created symlink from /etc/systemd/system/basic.target.wants/iptables.service to /usr/lib/systemd/system/iptables.service.

• systemctl start iptables-services;iptables -F; service iptables save

#開啓的目的是爲了調用一個空的規則

[root@qingyun-03 ~]# iptables -F
[root@qingyun-03 ~]# service iptables save
iptables: Saving firewall rules to /etc/sysconfig/iptables:[  肯定  ]

#關閉selinux
[root@qingyun-01 yum.repos.d]# setenforce 0
[root@qingyun-01 yum.repos.d]# vi /etc/selinux/config 
#SELINUX=disabled 

#查看網關
[root@qingyun-03 ~]# route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         192.168.0.1     0.0.0.0         UG    100    0        0 ens33
192.168.0.0     0.0.0.0         255.255.255.0   U     100    0        0 ens33

NAT模式搭建

• 在dir上安裝ipvsadm

[root@qingyun-01 yum.repos.d]# yum install -y ipvsadm

• 在dir上編寫腳本，vim /usr/local/sbin/lvs_nat.sh //內容以下

[root@qingyun-01 ~]# vim /usr/local/sbin/lvs_nat.sh

#! /bin/bash
# director 服務器上開啓路由轉發功能
echo 1 > /proc/sys/net/ipv4/ip_forward
# 關閉ICMP的重定向
echo 0 > /proc/sys/net/ipv4/conf/all/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/default/send_redirects
#注意區分網卡名字，兩個網卡分別爲ens33和ens37
echo 0 > /proc/sys/net/ipv4/conf/ens33/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/ens37/send_redirects
# dirrector 設置nat防火牆
iptables -t nat -F 
iptables -t nat -X
iptables -t nat -A POSTROUTING -s 192.168.0.0/24 -j MASQUERADE
# director設置ipvsadm
IPVSADM='/usr/sbin/ipvsadm'
$IPVSADM -C
$IPVSADM -A -t 192.168.147.144:80 -s wlc -p 3
$IPVSADM -a -t 192.168.147.144:80 -r 192.168.0.132:80 -m -w 1
$IPVSADM -a -t 192.168.147.144:80 -r 192.168.0.133:80 -m -w 1

• 執行腳本

[root@qingyun-01 ~]# sh /usr/local/sbin/lvs_nat.sh
#沒有輸出，說明沒有錯誤

NAT模式效果測試

• 兩臺rs上都安裝nginx

• 設置兩臺rs的主頁，作一個區分，也就是說直接curl兩臺rs的ip時，獲得不一樣的結果

[root@qingyun-01 ~]# curl 192.168.147.144
qingyun03-132
[root@qingyun-01 ~]# curl 192.168.147.144
qingyun03-133
[root@qingyun-01 ~]# curl 192.168.147.144
qingyun03-132
[root@qingyun-01 ~]# curl 192.168.147.144
qingyun03-133
[root@qingyun-01 ~]# cat /usr/local/sbin/lvs_nat.sh 
...........
$IPVSADM -C
$IPVSADM -A -t 192.168.147.144:80 -s wlc
.............

• 瀏覽器裏訪問192.168.147.144，多訪問幾回查看結果差別

[root@qingyun-01 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.147.144:80 wlc
  -> 192.168.0.132:80             Masq    1      0          0         
  -> 192.168.0.133:80             Masq    1      0          4