LVS羣集應用基礎詳解

時間 2019-11-06

原文原文鏈接

羣集的概述

1.羣集的類型
（1）負載均衡羣集（簡稱LB）：以提升應用系統的響應能力盡量處理更多的訪問請求，減小延遲爲目標，得到高併發，高負載的總體性能。例如"DNS輪詢"「應用層交換」「反向代理」等都均可做負載均衡羣集。
（2）高可用羣集（簡稱HA）：以提升應用系統的可靠性，儘量的減小中斷時間爲目標，確保服務的連續性，達到高可用的容錯效果。例如「故障切換」「雙機熱備」「多機熱備」等都屬於高可用羣集。
（3）高性能運算羣集（HPC）：以提升應用系統的CPU運算速度，擴展硬件資源和分析能力爲目標，得到至關於大型，超級計算機的高性能（HPC）能力。例如：「雲計算」「網格計算」，也可視爲高性能運算的一種。html

負載均衡的分層結構

第一層：負載調度器，這是訪問整個羣集系統的惟一入口，對外使用全部服務器共有的VIP（虛擬IP）地址，也稱爲羣集IP。一般會配置主、備兩臺調度器實現熱備份。確保高可用性。
第二層：服務器池，羣集所提供的應用服務（如HTTP、FTP）由服務器池承擔，其中每一個節點具備獨立的RIP（真實IP）地址，只處理調度器分發過來的客戶機請求，當某個節點暫時失效，負載調度器的容錯機制會將其隔離，等待錯誤排除後在將其從新歸入服務器池。
第三層：共享存儲，爲服務器池中的全部節點提供穩定、一致的文件存取服務，確保整個羣集的統一性。在Linux/UNIX環境中，共享存儲可使用NAS設備，或者提供NFS（網絡文件系統）共享服務的專用服務器。linux
```
負載均衡的工做模式
```
NAT模式：相似於防火牆的私有網絡結構，負載調度器做爲全部服務器節點的網關，即做爲客戶機的訪問入口，也是各節點回應客戶機的訪問出口。服務器節點使用私有IP地址，與負載調度器位於同一個物理網絡，安全性要優於其餘兩種方式，但負載調度器的壓力較大。算法
TUN模式：採用開放式的網絡結構，負載調度器僅做爲客戶機的訪問入口，各節點經過各自的Internet鏈接直接回應客戶機，而再也不通過負載調度器，服務器節點分散在互聯網中的不一樣位置，具備獨立的公網IP地址，經過專用IP隧道與負載調度器相互通訊。vim
DR模式：採用半開放的網絡結構，與TUN模式的結構相似，但各節點不是分散在各地的，而是與調度器位於同一個物理網絡，負載調度器與各節點服務器經過本地網絡鏈接，不須要創建專用的IP隧道。
LVS是針對Linux內核開發的一個負載均衡項目，官網是：http://www.linuxvirtualserver.org/ 能夠進入官網查閱相關的技術文檔。LVS如今已經成爲Linux內核的一部分，默認編譯爲ip_vs模塊，必要時可以自動調用。緩存
```
LVS的負載調度算法
```
輪詢（rr）：將收到的訪問請求按照順序輪流分配給羣集中的各節點（真實服務器），均等地對待每臺服務器，而無論服務器實際的鏈接數和系統負載。安全
加權輪詢（wrr）：根據真實服務器的處理能力輪流分配收到的訪問請求，調度器能夠自動查詢個節點的負載狀況，並動態調整其權重。這樣能夠保證處理能力強的服務器承擔更多的訪問流量。bash
最少鏈接（lc）：根據真實服務器已創建的鏈接數進行分配，將受到的訪問請求優先分配給鏈接數最少的節點，若是全部的服務器節點性能相近，採用這種方式能夠更好地均衡負載。服務器
加權最少鏈接（wlc）：在服務器節點的性能差別較大的狀況下，能夠爲真實服務器自動調整權重，權重較高的節點將承擔更大比例的活動鏈接負載。網絡
```
LVS相關的基礎命令
```
.
默認ip_vs模塊沒有加載，能夠執行以下命令加載ip_vs模塊：併發

[root@localhost ~]# modprobe ip_vs                 #加載ip_vs模塊
[root@localhost ~]# lsmod | grep ip_vs             #查看ip_vs模塊是否已加載
ip_vs                 141432  0 
nf_conntrack          133053  8 ip_vs,nf_nat,nf_nat_ipv4,......
libcrc32c              12644  4 xfs,ip_vs,nf_nat,nf_conntrack
[root@localhost ~]# modprobe -r ip_vs             #移除ip_vs模塊
[root@localhost ~]# lsmod | grep ip_vs
[root@localhost ~]# modprobe ip_vs
[root@localhost ~]# cat /proc/net/ip_vs            #查看ip_vs版本信息
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port Forward Weight ActiveConn InActConn

六、使用ipvsadm管理工具
.
ipvsadm是在負載調度器上使用的LVS羣集管理工具，經過調用ip_vs模塊來添加、刪除服務器節點，以及查看羣集的運行狀態。
.

[root@localhost ~]# yum -y install ipvsadm               #安裝ipvsadm工具
[root@localhost ~]# ipvsadm -v                                 #查看ipvsadm版本
ipvsadm v1.27 2008/5/15 (compiled with popt and IPVS v1.2.1)

1）使用ipvsadm工具建立虛擬服務器：
.
若羣集的VIP地址爲200.0.0.1，針對TCP 80端口提供負載分流服務，使用的調度算法爲輪詢（rr），則對應的命令以下，對於負載均衡調度器來講，VIP必須是本機實際已啓用的IP地址：
.

[root@localhost ~]# ipvsadm -A -t 200.0.0.1:80 -s rr

<!--以上命令中，選項-A表示添加虛擬服務器，-t用來指定虛擬VIP地址和TCP端口，
-s用來指定負載調度算法——輪詢（rr）、加權輪詢（wrr）、最少鏈接（lc）、
加權最少鏈接（wlc）。
若但願使用保持鏈接，還須要添加「-p 60」選項，其中60爲保持時間（單位爲s）-->

2)添加服務器節點：

爲虛擬服務器200.0.0.1添加四個服務器節點，IP地址依次爲192.168.1.2~5，命令以下：

[root@localhost ~]# ipvsadm -a -t 200.0.0.1:80 -r 192.168.1.2:80 -m -w 1
[root@localhost ~]# ipvsadm -a -t 200.0.0.1:80 -r 192.168.1.3:80 -m -w 1
[root@localhost ~]# ipvsadm -a -t 200.0.0.1:80 -r 192.168.1.4:80 -m -w 1
[root@localhost ~]# ipvsadm -a -t 200.0.0.1:80 -r 192.168.1.5:80 -m -w 1
<!--以上命令中，選項-a表示添加真實服務器，-t用來指定VIP地址及TCP端口，
-r用來指定RIP（真實IP）地址及TCP端口，-m表示使用NAT羣集模式
（-g DR模式和-i TUN模式），-w用來設置權重（權重爲0時表示暫停節點）。-->

[root@localhost ~]# ipvsadm -ln                #查看節點狀態
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  200.0.0.1:80 rr
  -> 192.168.1.2:80               Masq    1      0          0         
  -> 192.168.1.3:80               Masq    1      0          0         
  -> 192.168.1.4:80               Masq    1      0          0         
  -> 192.168.1.5:80               Masq    1      0          0         
<!--上述輸出結果中，forward列下的Masq對應masquerade（地址假裝），
表示採用的羣集模式爲NAT，若是是Route，則表示採用的羣集模式爲DR。-->

3）刪除服務器節點：

須要從服務器池中刪除某一個節點時，使用選項-d。執行刪除操做必須指定目標對象，包括節點地址，虛擬IP地址，例如，以下操做將會刪除LVS羣集200.0.0.1中的節點192.168.1.5。

[root@localhost ~]# ipvsadm -d -r 192.168.1.5:80 -t 200.0.0.1:80

須要刪除整個虛擬服務器時，使用選項-D並指定虛擬IP便可，不需指定節點。例如執行「ipvsadm -D -t 200.0.0.1:80」，則刪除此虛擬服務器。

4）保存負載分配策略：

使用導出/導入工具ipvsadm-save/ipvsadm-restore能夠保存、恢復LVS策略（服務器重啓後策略須要從新導入）。

[root@localhost ~]# hostname lvs         #更改主機名
<!--若主機名爲默認的localhost，在導出策略時，VIP地址將會自動轉爲127.0.0.1，
如果這樣，再次導入後，將會致使負載服務器沒法正常工做。-->
[root@localhost ~]# bash                 #使更改的主機名立刻生效
[root@lvs ~]# ipvsadm-save > /etc/sysconfig/ipvsadm.bak                 #保存策略
[root@lvs ~]# cat /etc/sysconfig/ipvsadm.bak                          #確認保存結果
-A -t 200.0.0.1:http -s rr
-a -t 200.0.0.1:http -r 192.168.1.2:http -m -w 1
-a -t 200.0.0.1:http -r 192.168.1.3:http -m -w 1
-a -t 200.0.0.1:http -r 192.168.1.4:http -m -w 1
[root@localhost ~]# ipvsadm -C                  #清除當前策略
[root@localhost ~]# ipvsadm -ln                  #確認當前羣集策略已被清除
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
[root@localhost ~]# ipvsadm-restore < /etc/sysconfig/ipvsadm.bak     #導入剛纔備份的策略
[root@localhost ~]# ipvsadm -ln              #查看羣集策略是否導入成功
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  200.0.0.1:80 rr
  -> 192.168.1.2:80               Masq    1      0          0         
  -> 192.168.1.3:80               Masq    1      0          0         
  -> 192.168.1.4:80               Masq    1      0          0

七、搭建NFS共享存儲服務器

NFS是一種基於TCP/IP傳輸的網絡文件系統協議，經過使用NFS協議，客戶機能夠像訪問本地目錄同樣訪問遠程服務器中的資源，對於大多數負載均衡羣集來講，使用NFS協議來共享數據存儲是比較常見的作法，NFS也是NAS存儲設備必然支持的一種協議。

使用NFS發佈共享資源：

1）安裝相關軟件包：

[root@localhost ~]# yum -y install nfs-utils rpcbind                 #安裝所需軟件包
[root@localhost ~]# systemctl enable nfs                               #設置NFS開機自啓
[root@localhost ~]# systemctl enable rpcbind                       #設置rpcbind開機自啓

2）設置共享目錄：

[root@localhost ~]# mkdir -p /opt/wwwroot                           #建立須要共享的目錄
[root@localhost ~]# vim /etc/exports                         #編輯NFS的配置文件，默認爲空

/opt/wwwroot  192.168.1.0/24(rw,sync,no_root_squash)

<!--上述配置中「192.168.1.0/24」表示容許訪問的客戶機地址，
能夠是主機名、IP地址、網段地址、容許使用*、？通配符；
權限選項中的rw表示容許讀寫（ro爲只讀），
sync表示同步寫入，由於在客戶機掛載該共享目錄後，若向該目錄中寫入什麼東西的話，
會先保存在本身的緩存中，而不會寫入到共享目錄中，加上sync則不會存在本身的緩存，
直接保存到共享目錄中；
no_root_squash表示當前客戶機以root身份訪問時賦予本地root權限
（默認是root_squash，將做爲nfsnobody用戶對待），若不加no_root_squash，
可能會致使被降權，而沒法進行讀寫（wr）-->

當須要將同一個目錄共享給不一樣的客戶機，且分配不一樣權限時，只要用空格分隔指定多個「客戶機（權限選項）」便可。以下：

[root@localhost ~]# vim /etc/exports   
/var/ftp/pub  192.168.2.1(ro,sync) 192.168.2.3(rw,sync)

3）重載NFS服務程序：
.

[root@localhost ~]# systemctl restart rpcbind
[root@localhost ~]# systemctl restart nfs
[root@localhost ~]# netstat -anpt | grep rpc
tcp        0      0 0.0.0.0:43759         0.0.0.0:*      LISTEN      76336/rpc.statd     
tcp        0      0 0.0.0.0:111           0.0.0.0:*       LISTEN      76307/rpcbind       
tcp        0      0 0.0.0.0:20048       0.0.0.0:*     LISTEN      76350/rpc.mountd    
tcp6       0      0 :::111                  :::*          LISTEN      76307/rpcbind       
tcp6       0      0 :::20048                :::*         LISTEN      76350/rpc.mountd    
tcp6       0      0 :::38355                :::*         LISTEN      76336/rpc.statd     
[root@localhost ~]# showmount -e                      #查看本機發布的NFS共享目錄
Export list for localhost.localdomain:
/opt/wwwroot 192.168.1.0/24
/var/ftp/pub 192.168.2.3,192.168.2.1

4）在客戶端訪問NFS共享資源：

NFS協議的目標是提供一種網絡文件系統，所以對NFS共享的訪問也使用mount命令進行掛載，對應的文件系統類型爲nfs，既能夠手動掛載，也能夠加入fstab配置文件來實現開機自動掛載，考慮到羣集系統中的網絡穩定性，NFS服務器與客戶機之間最好使用專有網絡進行鏈接。
.
1.安裝rpcbind軟件包，並啓動rpcbind服務，爲了使用showmount查詢工具，因此將nfs-utils也一塊兒裝上：

[root@localhost ~]# yum -y install nfs-utils rpcbind 
[root@localhost ~]# systemctl enable rpcbind
[root@localhost ~]# systemctl start rpcbind

2.查詢NFS服務器端共享了哪些目錄：

[root@localhost ~]# showmount -e 192.168.1.1               #需指定要查詢的服務器地址
Export list for 192.168.1.1:
/opt/wwwroot 192.168.1.0/24
/var/ftp/pub 192.168.2.3,192.168.2.1

3.手動掛載NFS共享目錄，並設置開機自動掛載：

[root@localhost ~]# mount 192.168.1.1:/opt/wwwroot /var/www/html      #掛載到本地
[root@localhost ~]# df -hT /var/www/html                     #查看是否掛載成功
文件系統                 類型  容量  已用  可用 已用% 掛載點
192.168.1.1:/opt/wwwroot nfs4   17G  6.2G   11G   37% /var/www/html
[root@localhost ~]# vim /etc/fstab                #設置自動掛載
                 .........................
192.168.1.1:/opt/wwwroot    /var/www/html     nfs     defaults,_netdev    0    0
<!--文件系統爲nfs，掛載參數添加_netdev（設備須要網絡）-->

完成掛載後，訪問客戶機的/var/www/html文件夾，就至關於訪問NFS服務器中的/opt/wwwroot文件夾，其中網絡映射過程對於用戶程序來講是徹底透明的。