LVS負載均衡羣集詳解

此博文包含如下內容：

一、 羣集類型
二、負載均衡的分層結構
三、負載均衡的工做模式
四、LVS的負載調度算法
五、LVS相關的基礎命令
六、使用ipvsadm管理工具
七、搭建NFS共享存儲服務器
八、搭建基於NAT模式的LVS負載均衡羣集實例
根據生產環境的不一樣，羣集所提供的功能也各不相同，採用的技術細節也可能各有千秋。關於羣集技術的相關概念以下：

一、 羣集類型

不管是哪一種羣集，都至少包括兩臺節點服務器，而對外表現爲一個總體，只提供一個訪問入口（域名或IP地址），至關於一臺大型計算機。根據羣集所針對的目標差別，能夠分爲如下三種類型：

• 負載均衡羣集（LB）：以提升應用系統的響應能力、儘量處理更多的訪問請求、較少延遲爲目的，得到高併發、高負載的總體性能。例如，「DNS輪詢」 、「應用層交換」、「反向代理」等均可用作負載均衡羣集。LB的負載分配依賴於主節點的分流算法，未來自客戶機的訪問請求分擔給多個服務器節點，從而緩解整個系統的負載壓力。
  .
• 高可用羣集（HA）：以提升應用系統的可靠性，儘量地減小中斷時間爲目標，確保服務的連續性，達到高可用（HA）的容錯效果，例如，「故障切換」。「雙機熱備」、「多機熱備」、等都屬於高可用羣集技術，HA的工做方式包括雙工和主從兩種模式。雙工就是全部節點同時在線；主從則只有主節點在線，但當出現故障時從節點能自動切換爲主節點，和Cisco路由器的HSRP原理相似。
  .
• 高性能運算羣集（HPC）：以提升應用系統的CPU運算速度，擴展硬件資源和分析能力爲目標，得到至關於大型、超級計算機的高性能運算（HPC）能力。例如，「雲計算」、「網格計算」也能夠當成HPC的一種。HPC羣集的高性能依賴於「分佈式計算」 「並行計算」，經過專用硬件和軟件將多臺服務器的CPU、內存等資源整合在一塊兒，實現只有大型、超級計算機才具有的計算能力。
  .

• 不一樣類型的羣集能夠根據實際需求進行合併，如高可用的負載均衡羣集。
  二、負載均衡的分層結構
  
  上圖是一個典型的負載均衡羣集，共三層，每層的做用以下：

• 第一層：負載調度器，這是訪問整個羣集系統的惟一入口，對外使用全部服務器共有的VIP（虛擬IP）地址，也稱爲羣集IP。一般會配置主、備兩臺調度器實現熱備份。確保高可用性。
• 第二層：服務器池，羣集所提供的應用服務（如HTTP、FTP）由服務器池承擔，其中每一個節點具備獨立的RIP（真實IP）地址，只處理調度器分發過來的客戶機請求，當某個節點暫時失效，負載調度器的容錯機制會將其隔離，等待錯誤排除後在將其從新歸入服務器池。
• 第三層：共享存儲，爲服務器池中的全部節點提供穩定、一致的文件存取服務，確保整個羣集的統一性。在Linux/UNIX環境中，共享存儲可使用NAS設備，或者提供NFS（網絡文件系統）共享服務的專用服務器。
  三、負載均衡的工做模式
  
• NAT模式：相似於防火牆的私有網絡結構，負載調度器做爲全部服務器節點的網關，即做爲客戶機的訪問入口，也是各節點回應客戶機的訪問出口。服務器節點使用私有IP地址，與負載調度器位於同一個物理網絡，安全性要優於其餘兩種方式，但負載調度器的壓力較大。
  .
• TUN模式：採用開放式的網絡結構，負載調度器僅做爲客戶機的訪問入口，各節點經過各自的Internet鏈接直接回應客戶機，而再也不通過負載調度器，服務器節點分散在互聯網中的不一樣位置，具備獨立的公網IP地址，經過專用IP隧道與負載調度器相互通訊。
  .
• DR模式：採用半開放的網絡結構，與TUN模式的結構相似，但各節點不是分散在各地的，而是與調度器位於同一個物理網絡，負載調度器與各節點服務器經過本地網絡鏈接，不須要創建專用的IP隧道。
  LVS是針對Linux內核開發的一個負載均衡項目，官網是：http://www.linuxvirtualserver.org/ 能夠進入官網查閱相關的技術文檔。LVS如今已經成爲Linux內核的一部分，默認編譯爲ip_vs模塊，必要時可以自動調用。
  四、LVS的負載調度算法
  .

輪詢（rr）：將收到的訪問請求按照順序輪流分配給羣集中的各節點（真實服務器），均等地對待每臺服務器，而無論服務器實際的鏈接數和系統負載。

加權輪詢（wrr）：根據真實服務器的處理能力輪流分配收到的訪問請求，調度器能夠自動查詢個節點的負載狀況，並動態調整其權重。這樣能夠保證處理能力強的服務器承擔更多的訪問流量。

最少鏈接（lc）：根據真實服務器已創建的鏈接數進行分配，將受到的訪問請求優先分配給鏈接數最少的節點，若是全部的服務器節點性能相近，採用這種方式能夠更好地均衡負載。

加權最少鏈接（wlc）：在服務器節點的性能差別較大的狀況下，能夠爲真實服務器自動調整權重，權重較高的節點將承擔更大比例的活動鏈接負載。

五、LVS相關的基礎命令
.
默認ip_vs模塊沒有加載，能夠執行以下命令加載ip_vs模塊：

[root@localhost ~]# modprobe ip_vs                 #加載ip_vs模塊
[root@localhost ~]# lsmod | grep ip_vs             #查看ip_vs模塊是否已加載
ip_vs                 141432  0 
nf_conntrack          133053  8 ip_vs,nf_nat,nf_nat_ipv4,......
libcrc32c              12644  4 xfs,ip_vs,nf_nat,nf_conntrack
[root@localhost ~]# modprobe -r ip_vs             #移除ip_vs模塊
[root@localhost ~]# lsmod | grep ip_vs
[root@localhost ~]# modprobe ip_vs
[root@localhost ~]# cat /proc/net/ip_vs            #查看ip_vs版本信息
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port Forward Weight ActiveConn InActConn

六、使用ipvsadm管理工具
.
ipvsadm是在負載調度器上使用的LVS羣集管理工具，經過調用ip_vs模塊來添加、刪除服務器節點，以及查看羣集的運行狀態。
.

[root@localhost ~]# yum -y install ipvsadm               #安裝ipvsadm工具
[root@localhost ~]# ipvsadm -v                                 #查看ipvsadm版本
ipvsadm v1.27 2008/5/15 (compiled with popt and IPVS v1.2.1)

1）使用ipvsadm工具建立虛擬服務器：
.
若羣集的VIP地址爲200.0.0.1，針對TCP 80端口提供負載分流服務，使用的調度算法爲輪詢（rr），則對應的命令以下，對於負載均衡調度器來講，VIP必須是本機實際已啓用的IP地址：
.

[root@localhost ~]# ipvsadm -A -t 200.0.0.1:80 -s rr

<!--以上命令中，選項-A表示添加虛擬服務器，-t用來指定虛擬VIP地址和TCP端口，
-s用來指定負載調度算法——輪詢（rr）、加權輪詢（wrr）、最少鏈接（lc）、
加權最少鏈接（wlc）。
若但願使用保持鏈接，還須要添加「-p 60」選項，其中60爲保持時間（單位爲s）-->

2)添加服務器節點：

爲虛擬服務器200.0.0.1添加四個服務器節點，IP地址依次爲192.168.1.2~5，命令以下：

[root@localhost ~]# ipvsadm -a -t 200.0.0.1:80 -r 192.168.1.2:80 -m -w 1
[root@localhost ~]# ipvsadm -a -t 200.0.0.1:80 -r 192.168.1.3:80 -m -w 1
[root@localhost ~]# ipvsadm -a -t 200.0.0.1:80 -r 192.168.1.4:80 -m -w 1
[root@localhost ~]# ipvsadm -a -t 200.0.0.1:80 -r 192.168.1.5:80 -m -w 1
<!--以上命令中，選項-a表示添加真實服務器，-t用來指定VIP地址及TCP端口，
-r用來指定RIP（真實IP）地址及TCP端口，-m表示使用NAT羣集模式
（-g DR模式和-i TUN模式），-w用來設置權重（權重爲0時表示暫停節點）。-->

[root@localhost ~]# ipvsadm -ln                #查看節點狀態
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  200.0.0.1:80 rr
  -> 192.168.1.2:80               Masq    1      0          0         
  -> 192.168.1.3:80               Masq    1      0          0         
  -> 192.168.1.4:80               Masq    1      0          0         
  -> 192.168.1.5:80               Masq    1      0          0         
<!--上述輸出結果中，forward列下的Masq對應masquerade（地址假裝），
表示採用的羣集模式爲NAT，若是是Route，則表示採用的羣集模式爲DR。-->

3）刪除服務器節點：

須要從服務器池中刪除某一個節點時，使用選項-d。執行刪除操做必須指定目標對象，包括節點地址，虛擬IP地址，例如，以下操做將會刪除LVS羣集200.0.0.1中的節點192.168.1.5。

[root@localhost ~]# ipvsadm -d -r 192.168.1.5:80 -t 200.0.0.1:80

須要刪除整個虛擬服務器時，使用選項-D並指定虛擬IP便可，不需指定節點。例如執行「ipvsadm -D -t 200.0.0.1:80」，則刪除此虛擬服務器。

4）保存負載分配策略：

使用導出/導入工具ipvsadm-save/ipvsadm-restore能夠保存、恢復LVS策略（服務器重啓後策略須要從新導入）。

[root@localhost ~]# hostname lvs         #更改主機名
<!--若主機名爲默認的localhost，在導出策略時，VIP地址將會自動轉爲127.0.0.1，
如果這樣，再次導入後，將會致使負載服務器沒法正常工做。-->
[root@localhost ~]# bash                 #使更改的主機名立刻生效
[root@lvs ~]# ipvsadm-save > /etc/sysconfig/ipvsadm.bak                 #保存策略
[root@lvs ~]# cat /etc/sysconfig/ipvsadm.bak                          #確認保存結果
-A -t 200.0.0.1:http -s rr
-a -t 200.0.0.1:http -r 192.168.1.2:http -m -w 1
-a -t 200.0.0.1:http -r 192.168.1.3:http -m -w 1
-a -t 200.0.0.1:http -r 192.168.1.4:http -m -w 1
[root@localhost ~]# ipvsadm -C                  #清除當前策略
[root@localhost ~]# ipvsadm -ln                  #確認當前羣集策略已被清除
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
[root@localhost ~]# ipvsadm-restore < /etc/sysconfig/ipvsadm.bak     #導入剛纔備份的策略
[root@localhost ~]# ipvsadm -ln              #查看羣集策略是否導入成功
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  200.0.0.1:80 rr
  -> 192.168.1.2:80               Masq    1      0          0         
  -> 192.168.1.3:80               Masq    1      0          0         
  -> 192.168.1.4:80               Masq    1      0          0

七、搭建NFS共享存儲服務器

NFS是一種基於TCP/IP傳輸的網絡文件系統協議，經過使用NFS協議，客戶機能夠像訪問本地目錄同樣訪問遠程服務器中的資源，對於大多數負載均衡羣集來講，使用NFS協議來共享數據存儲是比較常見的作法，NFS也是NAS存儲設備必然支持的一種協議。

使用NFS發佈共享資源：

1）安裝相關軟件包：

[root@localhost ~]# yum -y install nfs-utils rpcbind                 #安裝所需軟件包
[root@localhost ~]# systemctl enable nfs                               #設置NFS開機自啓
[root@localhost ~]# systemctl enable rpcbind                       #設置rpcbind開機自啓

2）設置共享目錄：

[root@localhost ~]# mkdir -p /opt/wwwroot                           #建立須要共享的目錄
[root@localhost ~]# vim /etc/exports                         #編輯NFS的配置文件，默認爲空

/opt/wwwroot  192.168.1.0/24(rw,sync,no_root_squash)

<!--上述配置中「192.168.1.0/24」表示容許訪問的客戶機地址，
能夠是主機名、IP地址、網段地址、容許使用*、？通配符；
權限選項中的rw表示容許讀寫（ro爲只讀），
sync表示同步寫入，由於在客戶機掛載該共享目錄後，若向該目錄中寫入什麼東西的話，
會先保存在本身的緩存中，而不會寫入到共享目錄中，加上sync則不會存在本身的緩存，
直接保存到共享目錄中；
no_root_squash表示當前客戶機以root身份訪問時賦予本地root權限
（默認是root_squash，將做爲nfsnobody用戶對待），若不加no_root_squash，
可能會致使被降權，而沒法進行讀寫（wr）-->

當須要將同一個目錄共享給不一樣的客戶機，且分配不一樣權限時，只要用空格分隔指定多個「客戶機（權限選項）」便可。以下：

[root@localhost ~]# vim /etc/exports   
/var/ftp/pub  192.168.2.1(ro,sync) 192.168.2.3(rw,sync)

3）重載NFS服務程序：
.

[root@localhost ~]# systemctl restart rpcbind
[root@localhost ~]# systemctl restart nfs
[root@localhost ~]# netstat -anpt | grep rpc
tcp        0      0 0.0.0.0:43759         0.0.0.0:*      LISTEN      76336/rpc.statd     
tcp        0      0 0.0.0.0:111           0.0.0.0:*       LISTEN      76307/rpcbind       
tcp        0      0 0.0.0.0:20048       0.0.0.0:*     LISTEN      76350/rpc.mountd    
tcp6       0      0 :::111                  :::*          LISTEN      76307/rpcbind       
tcp6       0      0 :::20048                :::*         LISTEN      76350/rpc.mountd    
tcp6       0      0 :::38355                :::*         LISTEN      76336/rpc.statd     
[root@localhost ~]# showmount -e                      #查看本機發布的NFS共享目錄
Export list for localhost.localdomain:
/opt/wwwroot 192.168.1.0/24
/var/ftp/pub 192.168.2.3,192.168.2.1

4）在客戶端訪問NFS共享資源：

NFS協議的目標是提供一種網絡文件系統，所以對NFS共享的訪問也使用mount命令進行掛載，對應的文件系統類型爲nfs，既能夠手動掛載，也能夠加入fstab配置文件來實現開機自動掛載，考慮到羣集系統中的網絡穩定性，NFS服務器與客戶機之間最好使用專有網絡進行鏈接。
.
1.安裝rpcbind軟件包，並啓動rpcbind服務，爲了使用showmount查詢工具，因此將nfs-utils也一塊兒裝上：

[root@localhost ~]# yum -y install nfs-utils rpcbind 
[root@localhost ~]# systemctl enable rpcbind
[root@localhost ~]# systemctl start rpcbind

2.查詢NFS服務器端共享了哪些目錄：

[root@localhost ~]# showmount -e 192.168.1.1               #需指定要查詢的服務器地址
Export list for 192.168.1.1:
/opt/wwwroot 192.168.1.0/24
/var/ftp/pub 192.168.2.3,192.168.2.1

3.手動掛載NFS共享目錄，並設置開機自動掛載：

[root@localhost ~]# mount 192.168.1.1:/opt/wwwroot /var/www/html      #掛載到本地
[root@localhost ~]# df -hT /var/www/html                     #查看是否掛載成功
文件系統                 類型  容量  已用  可用 已用% 掛載點
192.168.1.1:/opt/wwwroot nfs4   17G  6.2G   11G   37% /var/www/html
[root@localhost ~]# vim /etc/fstab                #設置自動掛載
                 .........................
192.168.1.1:/opt/wwwroot    /var/www/html     nfs     defaults,_netdev    0    0
<!--文件系統爲nfs，掛載參數添加_netdev（設備須要網絡）-->

完成掛載後，訪問客戶機的/var/www/html文件夾，就至關於訪問NFS服務器中的/opt/wwwroot文件夾，其中網絡映射過程對於用戶程序來講是徹底透明的。

基於NAT工做模式的LVS羣集配置實例可參考博文：搭建基於NAT模式的LVS負載均衡羣集