Lvs IP負載均衡技術

Lvs集羣的通用結構

 　　Lvs集羣採用IP負載均衡技術，屬於IP層的交換（L4），具備很好的吞吐率。調度器分析客戶端到服務器的IP報頭信息，將請求均衡地轉移到不一樣的服務器上執行，且調度器自動屏蔽掉服務器的故障，從而將一組服務器構成一個高性能的、高可用的虛擬服務器，Lvs集羣系統的通用結構以下所示，主要包含四大部分：

　　負載調度器（load balancer），它是整個集羣對外面的前端機，負責將客戶的請求發送到一組服務器上執行，而客戶認爲服務來自一個IP地址上的。當客戶請求到達時，調度器只根據負載狀況從服務器池選出一個服務器，將請求轉發到選出的服務器。由於全部的操做都是在操做系統核心空間中完成，它的調度開銷很小，因此具備很小的吞吐率。

　　服務器池（server pool），是一組真正執行客戶請求的服務器，執行的任務有WEB、MAIL、FTP和DNS等。服務器池的節點數目是可變的，當整個系統收到的負載超過目前全部站點的處理能力時，能夠在服務器池中添加服務器來知足不斷增加的請求負載。對大多數網站來講，節點與節點之間不存在很強的相關性，因此整個系統的性能能夠隨着服務器池的節點數目增長而線性增加。 

　　後端存儲（backend storage），它爲服務器池提供一個共享的存儲區，這樣使得服務器池擁有相同的內容，提供相同的服務。

　　Graphic Monitor是爲系統管理員提供整個集羣系統的監視器，它能夠監視系統中每一個節點的情況。

IP負載均衡技術

在已有的IP負載均衡技術中有三種：

　　1、是經過網絡地址轉換實現虛擬服務器的VS/NAT技術（Virtual Server via Network Address Translation）

　　2、是經過直接路由的VS/DR技術（Virtual Server via Direct Routing）

　　3、是經過IP隧道實現虛擬服務器的VS/TUN技術

經過NAT實現虛擬服務器（VS/NAT），請求，響應都在負載均衡器中完成

　　VS/NAT的體系結構以下圖所示，在一組服務器前有一個調度器，它們是經過Switch/HUB相鏈接的。這些服務提供相同的網絡服務、相同的內容，即無論請求被髮送到哪一臺服務器，執行結果是同樣的

　　一、客戶端瀏覽器輸入58.251.62.141向58.251.62.141發出http請求

　　二、Load Balancer的外網（eth0）收到該次請求

　　　　

　　三、IPVS調度器根據各個Real Server的負載狀況，動態選擇一臺Real Server（例如：172.16.81.144），將請求報文的目標地址改寫發送給172.16.81.144

　　　　

　　四、Real Server收到請求報文並處理造成響應文本，因爲Real Server上的網關地址爲Load Balaceer，響應報文從Real Server發往Load Balaceer。

　　　　

　　五、Load Balacer收到172.16.81.144的響應報文後，將響應報文的原地址修改成虛擬IP地址，併發送給客戶端。

　　　　

　　六、客戶認爲獲得正常的服務，而不知道是哪一臺服務器處理的。

經過直接路由實現虛擬服務器（VS/DR）

　　在VS/NAT的集羣系統中，請求和響應的數據報文都須要經過負載調度器，當真實服務器數目在10-20之間時，負載調度器將成爲整個集羣系統的新瓶頸。大多數Internet服務都有這樣的特色：請求報文較短而響應報文每每包含大量的數據。若是能將請求和響應分開處理，即在負載均衡器中只負責調度請求而響應直接返回給客戶，將極大提高提升整個集羣系統的吞吐量。VS/DR體系結構以下圖所示：調度器和服務器都必須在物理上有一個網卡經過不分斷的局域網鏈接，如經過交換機或者高速的HUB鏈接。VIP地址爲調度器和服務器組共享，調度器設置的VIP地址是對外可見的，用於接收虛擬服務的請求報文；全部的服務器把VIP地址配置在各自的Non-ARP網絡設備上，它對外面不可見，只是用於處理目標地址爲VIP請求。

　　總結：負載只負責調度，響應直接返回給用戶，負載和服務器必須在物理上經過網卡經過不分斷的局域網鏈接，負載地址對外可見，服務器池地址對外不可見。

　　一、客戶端瀏覽器輸入58.251.62.141向58.251.62.141發出http請求

　　二、Load Balacer的外網（eth0）收到該次請求

　　　　

　　三、IPVS調度器根據各個Real Server的負載狀況，動態的選擇一臺Real Server，將請求報文轉發到Real Server（以下的地址）

　　　　

　　四、Real Server的內網（eth1）接收到Load Balacer發過來的IP報文並對IP報文解包，獲得客戶的請求包，發現包的目標地址被配置在本地的lo設備上，因此就處理這個請求

　　五、Real Server根據路由表將響應報文經過外網（eth0）直接返回給用戶，請求報文的目標地址改成VIP，響應報文的源地址也爲VIP，因此響應報文不須要作任何修改，直接返回給客戶

　　　　

　　六、客戶認爲獲得正常服務，而不知道是哪一臺服務器處理的。

　　在VS/DR響應報文根據服務器的路由表直接返回給用戶，而不通過負載調度器，因此負載調度器只處於從客戶到服務器的半鏈接中，咱們給出半鏈接的TCP有限狀態機。以下圖爲VS/DR的TCP狀態轉移，圈表示狀態，箭頭表示狀態間的轉換，箭頭上的標識表示在當前狀態上收到該標識的輸入，遷移到下一個狀態。VS/DR的TCP狀態遷移是按照半鏈接的TCP有限狀態機進行的。

 

經過IP隧道實現虛擬服務器（VS/TUN）

　　跟VS/DR方法相同，VS/TUN多數Internet服務的非對稱特色，負載調度器中只負責調度請求，而服務器直接將相應發送給客戶，能夠極大地提升整個集羣系統的吞吐量。IP隧道（IP tunneling）是將一個IP報文封裝在另外一個IP報文的技術，這可使得目標爲一個IP地址的數據報文能被封裝和轉發到另外一個IP地址。

　　利用IP隧道技術將請求報文封裝轉發給後端服務器，響應報文能從後端服務器直接返回給用戶。但在這裏，後端服務器有一組而非一個，因此不可能靜態地創建一一對應的隧道。這樣，咱們能夠利用IP隧道的原理將一組服務器上的網絡服務組成在一個IP地址上的虛擬網絡服務。

　　一、客戶端瀏覽器輸入58.251.62.141向58.251.62.141發出http請求

　　二、Load Balacer的外網（eth0）收到請求

　　　　

　　三、IPVS動態選擇一臺服務器，將請求報文封裝在另外一個IP報文中

　　四、Load Balacer的內網（eth1）將封裝後的IP報文發送給Real Server

　　　　

　　五、Real Server的內網（eth1）收到Load Balacer發過來的IP報文並對IP報文解包，獲得客戶端請求，發現包的目標地址被配置在本地的IP隧道設備上，因此就處理這個請求。

　　六、Real Server根據路由表將響應報文經過外網（eth0）直接返回給客戶，請求報文的目標地址爲VIP，響應報文的原地址也爲VIP，因此報文不須要修改直接發送給客戶。

　　　　

　　七、客戶獲得正常的服務，而不知道是哪一臺服務器處理的。

　　VS/DR負載調度器也只處於從客戶到服務器的半鏈接中，按照半鏈接的TCP有限狀態機進行狀態遷移。

VS/NAT 的優勢是服務器能夠運行任何支持 TCP/IP 的操做系統，它只須要一個 IP 地址配置在調度器上，服務器組能夠用私有的 IP 地址。缺點是它的伸縮能力有限，當服務器結點數目升到 20 時，調度器自己有可能成爲系統的新瓶頸，由於在 VS/NAT 中請求和響應報文都須要經過負載調度器。
VS/DR 優勢是負載調度器能夠處理大量的請求， 由於調度器只處理客戶到服務器端的鏈接，響應數據能夠直接從獨立的網絡路由返回給客戶， 這能夠極大地提升 LVS 集羣系統的伸縮性。 缺點是要求負載調度器與實際服務器都有一塊網卡連在同一物理網段上，服務器網絡設備（或者設備別名）不做 ARP 響應，或者能將報文重定向（Redirect）到本地的 Socket 端口上。
VS/TUN 的優勢是負載調度器能夠處理大量的請求，它甚至能夠調度百臺以上的服務器（同等規模的服務器），而它不會成爲系統的瓶頸，由於負載調度器只將請求調度到不一樣的後端服務器，後端服務器將應答的數據直接返回給用戶。缺點是 VS/TUN 技術有 IP 隧道的開銷而且對服務器有要求，即全部的服務器必須支持「IP Tunneling」或者「IP Encapsulation」協議。

FULLNAT模式（淘寶開源）

解決了上述三種的缺點，解決了真實服務器能跨越 VLAN 通信，只須要鏈接到內網便可入站時，目標 IP 更改成真實服務器的 IP,源 IP 更改成內網的本地 IP（一組內網 IP）出站時，目標 IP 更改成客戶端的 IP，源 IP 更換爲 VIP