集羣,爲解決某個特定問題將多臺計算機組合起來造成的單個系統。
同一個業務系統,部署在多臺服務器上。集羣中,每一臺服務器實現的功能沒有差異,數據和代碼都是同樣的。html
LB: Load Balancing,負載均衡
HA: High Availiablity,高可用, SPOF(single Point Of failure)
MTBF:Mean Time Between Failure 平均無端障時間
MTTR:Mean Time To Restoration(repair)平均恢復前時間
A=MTBF/(MTBF+MTTR) (0,1): 99%, 99.5%, 99.9%, 99.99%, 99.999%
HPC: High-performance computing,高性能 前端
一個業務被拆成多個子業務,或者自己就是不一樣的業務,部署在多臺服務器上。分佈式中,每一臺服務器實現的功能是有差異的,數據和代碼也是不同的,分佈式每臺服務器功能加起來,纔是完整的業務。linux
分佈式是以縮短單個任務的執行時間來提高效率的,而集羣則是經過提升單位時間內執行的任務數來提高效率。nginx
LVS,Linux Virtual Server即「Linux虛擬服務器」。
經過LVS能夠實現負載均衡集羣方案,它是一個針對Linux內核開發的一個負載均衡項目。基於IP地址和內容請求分發的高效的負載均衡解決方法,現已爲 Linux 內核的一部分,默認編譯爲ip_vs模塊。 web
LVS的抗併發能力強,主要用於服務器集羣的負載均衡。它工做在網絡層,能夠實現高性能,高可用的服務器集羣技術。它廉價,可把許多低性能的服務器組合在一塊兒造成一個超級服務器。它易用,配置很是簡單,且有多種負載均衡的方法。它穩定可靠,即便在集羣的服務器中某臺服務器沒法正常工做,也不影響總體效果。另外可擴展性也很是好。 算法
VS根據請求報文的目標IP和目標協議及端口將其調度轉發至某RS,根據調度算法來挑選RSapache
CIP <--> VIP <--> DIP <--> RIPvim
[root@CentOS ~]# grep -i -A 10 "IPVS" /boot/config-3.10.0-862.el7.x86_64 # IPVS transport protocol load balancing support CONFIG_IP_VS_PROTO_TCP=y # 開啓tcp CONFIG_IP_VS_PROTO_UDP=y # 開啓udp CONFIG_IP_VS_PROTO_AH_ESP=y CONFIG_IP_VS_PROTO_ESP=y CONFIG_IP_VS_PROTO_AH=y CONFIG_IP_VS_PROTO_SCTP=y # IPVS scheduler # 默認支持的算法 CONFIG_IP_VS_RR=m CONFIG_IP_VS_WRR=m CONFIG_IP_VS_LC=m CONFIG_IP_VS_WLC=m CONFIG_IP_VS_LBLC=m CONFIG_IP_VS_LBLCR=m CONFIG_IP_VS_DH=m CONFIG_IP_VS_SH=m CONFIG_IP_VS_SED=m
本質是多目標IP的DNAT,經過將請求報文中的目標地址和目標端口修改成某挑出的RS的RIP和PORT實現轉發。
(1) RIP和DIP應在同一個IP網絡,且應使用私網地址; RS的網關要指向DIP
(2)請求報文和響應報文都必須經由Director轉發, Director易於成爲系統瓶頸
(3)支持端口映射,可修改請求報文的目標PORT
(4) VS必須是Linux系統, RS能夠是任意OS系統後端
Direct Routing,直接路由,LVS默認模式,應用最普遍,經過爲請求報文從新封裝一個MAC首部進行轉發,源MAC是DIP所在的接口的MAC,目標MAC是某挑選出的RS的RIP所在接口的MAC地址;源IP/PORT,以及目標IP/PORT均保持不變
(1) Director和各RS都配置有VIP
(2) 確保前端路由器將目標IP爲VIP的請求報文發往Director 緩存
(3)RS的RIP可使用私網地址,也能夠是公網地址;RIP與DIP在同一IP網絡;RIP的網關不能指向DIP,以確保響應報文不會經由Director
(4)RS和Director要在同一個物理網絡
(5)請求報文要經由Director,但響應報文不經由Director,而由RS直接發往Client
(6)不支持端口映射(端口不能修敗)
(7)RS可以使用大多數OS系統
轉發方式:不修改請求報文的IP首部(源IP爲CIP,目標IP爲VIP),而在原IP報文以外再封裝一個IP首部(源IP是DIP,目標IP是RIP),將報文發往挑選出的目標RS;RS直接響應給客戶端(源IP是VIP,目標IP是CIP)
(1) DIP, VIP, RIP都應該是公網地址
(2) RS的網關通常不能指向DIP
(3) 請求報文要經由Director,但響應不經由Director
(4) 不支持端口映射
(5) RS的OS須支持隧道功能
經過同時修改請求報文的源IP地址和目標IP地址進行轉發
CIP --> DIP
VIP --> RIP
(1) VIP是公網地址,RIP和DIP是私網地址,且一般不在同一IP網絡;所以,RIP的網關通常不會指向DIP
(2) RS收到的請求報文源地址是DIP,所以,只需響應給DIP;但Director還要將其發往Client
(3) 請求和響應報文都經由Director
(4) 支持端口映射
[root@CentOS7-2 ~]#yum install -y ipvsadm
[root@CentOS7-2 ~]#rpm -ql ipvsadm /etc/sysconfig/ipvsadm-config # 配置文件 /usr/sbin/ipvsadm # 主程序 /usr/sbin/ipvsadm-restore # 規則重載工具 /usr/sbin/ipvsadm-save # 規則保存工具
ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]
ipvsadm -D -t|u|f service-address
-A:定義集羣,能夠定義多組集羣進行調度
-E:修改定義的集羣
-t: TCP協議的端口,VIP:TCP_PORT
-u: UDP協議的端口,VIP:UDP_PORT
-f:firewall MARK,標記,一個數字
service-address:VIP地址
[-s scheduler]:指定集羣的調度算法,默認爲wlc
[-p [timeout]]:持久綁定時間
-D:刪除集羣
ipvsadm -a|e -t|u|f service-address -r server-address [-g|i|m] [-w weight]
ipvsadm -d -t|u|f service-address -r server-address
-a:添加集羣成員Real-server
-e:修改集羣成員選項
-r:後端Real-server地址
-g:DR模式
-i:TUN模式
-m:NAT模式,假裝
[-w weight]:權重,默認爲1
-d:刪除集羣成員
[root@CentOS7-2 ~]#ipvsadm -C
[root@CentOS7-2 ~]#ipvsadm -Z [-t|u|f service-address]
ipvsadm -L|l [options] --numeric, -n:以數字形式輸出地址和端口號 --exact:擴展信息,精確值 --connection,-c:當前IPVS鏈接輸出 --stats:統計信息 --rate:輸出速率信息
建議保存至/etc/sysconfig/ipvsadm 1. ipvsadm-save > /PATH/TO/IPVSADM_FILE 2. ipvsadm -S > /PATH/TO/IPVSADM_FILE 3. systemctl stop ipvsadm.service
1. ipvsadm-restore < /PATH/FROM/IPVSADM_FILE 2. ipvsadm -R < /PATH/FROM/IPVSADM_FILE 3. systemctl restart ipvsadm.service
主機名 | IP地址 |
---|---|
Client | 172.22.58.131 |
LVS | 172.22.58.150、192.168.36.104 |
RS1 | 192.168.36.110 |
RS2 | 192.168.36.120 |
Client
[root@Client ~]# route -n Kernel IP routing table Destination Gateway Genmask Flags Metric Ref Use Iface 172.22.0.0 0.0.0.0 255.255.0.0 U 1 0 0 eth0 0.0.0.0 172.22.58.150 0.0.0.0 UG 0 0 0 eth0
Route
[root@LVS ~]#route -n Kernel IP routing table Destination Gateway Genmask Flags Metric Ref Use Iface 172.22.0.0 0.0.0.0 255.255.0.0 U 0 0 0 ens37 192.168.36.0 0.0.0.0 255.255.255.0 U 0 0 0 ens33 # 開啓路由轉發功能 [root@LVS ~]#vim /etc/sysctl.conf net.ipv4.ip_forward = 1 [root@LVS ~]#sysctl -p net.ipv4.ip_forward = 1
RS1
[root@RS1 ~]#route -n Kernel IP routing table Destination Gateway Genmask Flags Metric Ref Use Iface 0.0.0.0 192.168.36.104 0.0.0.0 UG 0 0 0 ens33 192.168.36.0 0.0.0.0 255.255.255.0 U 0 0 0 ens33
RS2
[root@RS2 ~]# route -n Kernel IP routing table Destination Gateway Genmask Flags Metric Ref Use Iface 192.168.36.0 0.0.0.0 255.255.255.0 U 1 0 0 eth0 0.0.0.0 192.168.36.104 0.0.0.0 UG 0 0 0 eth0
[root@RS1 ~]#yum install -y httpd .... [root@RS1 ~]#systemctl restart httpd
[root@RS1 ~]#echo "<h1>Real Server 110</h1>" >/var/www/html/index.html [root@RS2 ~]#echo "<h1>Real Server 120</h1>" >/var/www/html/index.html
# 安裝規則 [root@LVS ~]#yum install -y ipvsadm # 配置規則 [root@LVS ~]#ipvsadm -A -t 172.22.58.150:80 -s wrr [root@LVS ~]#ipvsadm -Ln IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConn TCP 172.22.58.150:80 wrr [root@LVS ~]#ipvsadm -a -t 172.22.58.150:80 -r 192.168.36.110 -m [root@LVS ~]#ipvsadm -a -t 172.22.58.150:80 -r 192.168.36.120 -m [root@LVS ~]#ipvsadm -Ln IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConn TCP 172.22.58.150:80 wrr -> 192.168.36.110:80 Masq 1 0 0 -> 192.168.36.120:80 Masq 1 0 0
[root@Client ~]# while true;do curl http://172.22.58.150;sleep 0.5 ;done <h1>Real Server 110</h1> <h1>Real Server 120</h1> <h1>Real Server 110</h1> <h1>Real Server 120</h1> ....
[root@LVS ~]#ipvsadm -e -t 172.22.58.150:80 -r 192.168.36.110 -m -w 2 [root@LVS ~]#ipvsadm -Ln IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConn TCP 172.22.58.150:80 wrr -> 192.168.36.110:80 Masq 2 0 0 -> 192.168.36.120:80 Masq 1 0 0 [root@Client ~]# while true;do curl http://172.22.58.150;sleep 0.5 ;done <h1>Real Server 120</h1> <h1>Real Server 110</h1> <h1>Real Server 110</h1> <h1>Real Server 120</h1> <h1>Real Server 110</h1> <h1>Real Server 110</h1>
主機名 | IP地址 |
---|---|
Client | 172.22.58.113 |
Route | 172.22.58.150、192.168.36.104 |
LVS | 192.168.36.106 |
RS1 | 192.168.36.110 |
RS2 | 192.168.36.120 |
Client
[root@Client ~]# route -n Kernel IP routing table Destination Gateway Genmask Flags Metric Ref Use Iface 172.22.0.0 0.0.0.0 255.255.0.0 U 1 0 0 eth0 0.0.0.0 172.22.58.150 0.0.0.0 UG 0 0 0 eth0
Route
[root@Route ~]#route -n Kernel IP routing table Destination Gateway Genmask Flags Metric Ref Use Iface 172.22.0.0 0.0.0.0 255.255.0.0 U 0 0 0 ens37 192.168.36.0 0.0.0.0 255.255.255.0 U 0 0 0 ens33 # 開啓路由轉發功能 [root@Route ~]#vim /etc/sysctl.conf net.ipv4.ip_forward = 1 [root@Route ~]#sysctl -p net.ipv4.ip_forward = 1
LVS
[root@LVS ~]#route -n Kernel IP routing table Destination Gateway Genmask Flags Metric Ref Use Iface 0.0.0.0 192.168.36.104 0.0.0.0 UG 0 0 0 ens33 192.168.36.0 0.0.0.0 255.255.255.0 U 0 0 0 ens33
RS1
[root@RS1 ~]#route -n Kernel IP routing table Destination Gateway Genmask Flags Metric Ref Use Iface 0.0.0.0 192.168.36.104 0.0.0.0 UG 0 0 0 ens33 192.168.36.0 0.0.0.0 255.255.255.0 U 0 0 0 ens33
RS2
[root@RS2 ~]# route -n Kernel IP routing table Destination Gateway Genmask Flags Metric Ref Use Iface 192.168.36.0 0.0.0.0 255.255.255.0 U 1 0 0 eth0 0.0.0.0 192.168.36.104 0.0.0.0 UG 0 0 0 eth0
分別在RS一、RS2上執行此腳本
[root@RS1 ~]#vim lvs_dr_rs.sh #!/bin/bash vip=192.168.36.200 mask='255.255.255.255' dev=lo:1 rpm -q httpd &> /dev/null || yum -y install httpd &>/dev/null service httpd start &> /dev/null && echo "The httpd Server is Ready!" echo "<h1>Real Server 110</h1>" > /var/www/html/index.html case $1 in start) echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce ifconfig $dev $vip netmask $mask #broadcast $vip up #route add -host $vip dev $dev echo "The RS Server is Ready!" ;; stop) ifconfig $dev down echo 0 > /proc/sys/net/ipv4/conf/all/arp_ignore echo 0 > /proc/sys/net/ipv4/conf/lo/arp_ignore echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce echo 0 > /proc/sys/net/ipv4/conf/lo/arp_announce echo "The RS Server is Canceled!" ;; *) echo "Usage: $(basename $0) start|stop" exit 1 ;; esac [root@RS2 ~]# bash ./lvs_dr_rs.sh start The httpd Server is Ready! The RS Server is Ready!
[root@LVS ~]#vim lvs_dr_vs.sh #!/bin/bash vip='192.168.36.200' iface='lo:1' mask='255.255.255.255' port='80' rs1='192.168.36.110' rs2='192.168.36.120' scheduler='wrr' type='-g' # rpm -q ipvsadm &> /dev/null || yum -y install ipvsadm &> /dev/null case $1 in start) ifconfig $iface $vip netmask $mask #broadcast $vip up iptables -F ipvsadm -A -t ${vip}:${port} -s $scheduler ipvsadm -a -t ${vip}:${port} -r ${rs1} $type -w 1 ipvsadm -a -t ${vip}:${port} -r ${rs2} $type -w 1 echo "The VS Server is Ready!" ;; stop) ipvsadm -C ifconfig $iface down echo "The VS Server is Canceled!" ;; *) echo "Usage: $(basename $0) start|stop" exit 1 ;; esac 執行腳本,生成規則 [root@LVS ~]#bash ./lvs_dr_vs.sh start The VS Server is Ready!
[root@LVS ~]#ipvsadm -Ln IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConn TCP 192.168.36.200:80 wrr -> 192.168.36.110:80 Route 1 0 0 -> 192.168.36.120:80 Route 1 0 0
[root@Client ~]# while true;do curl http://192.168.36.200;sleep 0.5 ;done <h1>Real Server 110</h1> <h1>Real Server 120</h1> <h1>Real Server 110</h1> <h1>Real Server 120</h1> <h1>Real Server 110</h1> <h1>Real Server 120</h1> ....
[root@LVS ~]#ipvsadm -e -t 192.168.36.200:80 -r 192.168.36.120 -g -w 3 [root@Client ~]# while true;do curl http://192.168.36.200;sleep 0.5 ;done <h1>Real Server 110</h1> <h1>Real Server 120</h1> <h1>Real Server 120</h1> <h1>Real Server 120</h1> <h1>Real Server 110</h1> <h1>Real Server 120</h1> <h1>Real Server 120</h1> <h1>Real Server 120</h1> ....
藉助於防火牆標記來分類報文,然後基於標記定義集羣服務;可將多個不一樣的應用使用同一個集羣服務進行調度。
清空ipvsadm配置
[root@LVS ~]#ipvsadm -C [root@LVS ~]#ipvsadm -Ln IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConn
設置防火牆標記位
[root@LVS ~]#iptables -t mangle -A PREROUTING -d 192.168.36.104 -p tcp -m multiport --dports 80,443 -j MARK --set-mark 10 [root@LVS ~]#iptables -vnL -t mangle Chain PREROUTING (policy ACCEPT 105 packets, 7292 bytes) pkts bytes target prot opt in out source destination 0 0 MARK tcp -- * * 0.0.0.0/0 192.168.36.104 multiport dports 80,443 MARKset 0xa # MARK 用於給特定的報文打標記 # --set-mark value # 其中:value 可爲0xffff格式,表示十六進制數字
根據標記位配置ipvsadm調度規則
[root@LVS ~]#ipvsadm -A -f 10 -s wrr [root@LVS ~]#ipvsadm -Ln IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConn FWM 10 wrr [root@LVS ~]#ipvsadm -a -f 10 -r 192.168.36.110 -m [root@LVS ~]#ipvsadm -a -f 10 -r 192.168.36.120 -m [root@LVS ~]#ipvsadm -Ln IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConn FWM 10 wrr -> 192.168.36.110:0 Masq 1 0 0 -> 192.168.36.120:0 Masq 1 0 0
session綁定:對共享同一組RS的多個集羣服務,須要統一進行綁定,LVS SH算法沒法實現。
持久鏈接( lvs persistence )模板:實現不管使用任何調度算法,在一段時間內(默認360s ),可以實現未來自同一個地址的請求始終發往同一個RS
ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]
持久鏈接實現方式:
[root@LVS ~]#ipvsadm -E -f 10 -s wrr -p # -p:持久鏈接綁定,單位/s,默認爲360s