Docker 搭建簡單 LVS

LVS簡介

       LVS（Linux Virtual Server）即Linux虛擬服務器，是由章文嵩博士主導的開源負載均衡項目，目前LVS已經被集成到Linux內核模塊中。該項目在Linux內核中實現了基於IP的數據請求負載均衡調度方案，其體系結構如圖1所示，終端互聯網用戶從外部訪問公司的外部負載均衡服務器，終端用戶的Web請求會發送給LVS調度器，調度器根據本身預設的算法決定將該請求發送給後端的某臺Web服務器，好比，輪詢算法能夠將外部的請求平均分發給後端的全部服務器，終端用戶訪問LVS調度器雖然會被轉發到後端真實的服務器，但若是真實服務器鏈接的是相同的存儲，提供的服務也是相同的服務，最終用戶不論是訪問哪臺真實服務器，獲得的服務內容都是同樣的，整個集羣對用戶而言都是透明的。最後根據LVS工做模式的不一樣，真實服務器會選擇不一樣的方式將用戶須要的數據發送到終端用戶，LVS工做模式分爲NAT模式、TUN模式、以及DR模式。

三種工做模式的解析

基於NAT的LVS模式負載均衡

      NAT（Network Address Translation）即網絡地址轉換，其做用是經過數據報頭的修改，使得位於企業內部的私有IP地址能夠訪問外網，以及外部用用戶能夠訪問位於公司內部的私有IP主機。VS/NAT工做模式拓撲結構如圖2所示，LVS負載調度器可使用兩塊網卡配置不一樣的IP地址，eth0設置爲私鑰IP與內部網絡經過交換設備相互鏈接，eth1設備爲外網IP與外部網絡聯通。

       第一步，用戶經過互聯網DNS服務器解析到公司負載均衡設備上面的外網地址，相對於真實服務器而言，LVS外網IP又稱VIP（Virtual IP Address），用戶經過訪問VIP，便可鏈接後端的真實服務器（Real Server），而這一切對用戶而言都是透明的，用戶覺得本身訪問的就是真實服務器，但他並不知道本身訪問的VIP僅僅是一個調度器，也不清楚後端的真實服務器到底在哪裏、有多少真實服務器。

   第二步，用戶將請求發送至124.126.147.168，此時LVS將根據預設的算法選擇後端的一臺真實服務器（192.168.0.1~192.168.0.3），將數據請求包轉發給真實服務器，而且在轉發以前LVS會修改數據包中的目標地址以及目標端口，目標地址與目標端口將被修改成選出的真實服務器IP地址以及相應的端口。

    第三步，真實的服務器將響應數據包返回給LVS調度器，調度器在獲得響應的數據包後會將源地址和源端口修改成VIP及調度器相應的端口，修改完成後，由調度器將響應數據包發送回終端用戶，另外，因爲LVS調度器有一個鏈接Hash表，該表中會記錄鏈接請求及轉發信息，當同一個鏈接的下一個數據包發送給調度器時，從該Hash表中能夠直接找到以前的鏈接記錄，並根據記錄信息選出相同的真實服務器及端口信息。

​

基於TUN的LVS負載均衡

       在LVS（NAT）模式的集羣環境中，因爲全部的數據請求及響應的數據包都須要通過LVS調度器轉發，若是後端服務器的數量大於10臺，則調度器就會成爲整個集羣環境的瓶頸。咱們知道，數據請求包每每遠小於響應數據包的大小。由於響應數據包中包含有客戶須要的具體數據，因此LVS（TUN）的思路就是將請求與響應數據分離，讓調度器僅處理數據請求，而讓真實服務器響應數據包直接返回給客戶端。VS/TUN工做模式拓撲結構如圖3所示。其中，IP隧道（IP tunning）是一種數據包封裝技術，它能夠將原始數據包封裝並添加新的包頭（內容包括新的源地址及端口、目標地址及端口），從而實現將一個目標爲調度器的VIP地址的數據包封裝，經過隧道轉發給後端的真實服務器（Real Server），經過將客戶端發往調度器的原始數據包封裝，並在其基礎上添加新的數據包頭（修改目標地址爲調度器選擇出來的真實服務器的IP地址及對應端口），LVS（TUN）模式要求真實服務器能夠直接與外部網絡鏈接，真實服務器在收到請求數據包後直接給客戶端主機響應數據。

​

基於DR的LVS負載均衡

在LVS（TUN）模式下，因爲須要在LVS調度器與真實服務器之間建立隧道鏈接，這一樣會增長服務器的負擔。與LVS（TUN）相似，DR模式也叫直接路由模式，其體系結構如圖4所示，該模式中LVS依然僅承擔數據的入站請求以及根據算法選出合理的真實服務器，最終由後端真實服務器負責將響應數據包發送返回給客戶端。與隧道模式不一樣的是，直接路由模式（DR模式）要求調度器與後端服務器必須在同一個局域網內，VIP地址須要在調度器與後端全部的服務器間共享，由於最終的真實服務器給客戶端迴應數據包時須要設置源IP爲VIP地址，目標IP爲客戶端IP，這樣客戶端訪問的是調度器的VIP地址，迴應的源地址也依然是該VIP地址（真實服務器上的VIP），客戶端是感受不到後端服務器存在的。因爲多臺計算機都設置了一樣一個VIP地址，因此在直接路由模式中要求調度器的VIP地址是對外可見的，客戶端須要將請求數據包發送到調度器主機，而全部的真實服務器的VIP地址必須配置在Non-ARP的網絡設備上，也就是該網絡設備並不會向外廣播本身的MAC及對應的IP地址，真實服務器的VIP對外界是不可見的，但真實服務器卻能夠接受目標地址VIP的網絡請求，並在迴應數據包時將源地址設置爲該VIP地址。調度器根據算法在選出真實服務器後，在不修改數據報文的狀況下，將數據幀的MAC地址修改成選出的真實服務器的MAC地址，經過交換機將該數據幀發給真實服務器。整個過程當中，真實服務器的VIP不須要對外界可見。

​LVS/NAT 的實現

首先爲了可以使用 IPVS 內核模塊，咱們將在宿主機中安裝 ipvsadm，並嘗試可否使用：

sudo apt-get update # 更新源 
sudo apt-get install ipvsadm # 安裝 ipvsadm 工具
sudo ipvsadm -L # 嘗試使用 ipvsadm

使用 docker 建立所需 container，使用如下命令建立

docker run --privileged --name=RealServer1 -tdi ubuntu
docker run --privileged --name=RealServer2 -tdi ubuntu

RealServer 部署 Nginx 來提供 Web 服務，RealServer1 和 RealServer2 操做步驟相同，此處以 RealServer1 爲示

docker attach RealServer1
apt-get update
apt-get install vim -y 
apt-get install nginx -y
service nginx start

#RealServer1 container 環境 sudo vi /var/www/html/index.nginx-debian.html(不一樣的安裝方式路徑不一樣)  修改默認頁面移區分2臺服務器

至此咱們完成兩臺 Web 服務器的配置，咱們能夠打開宿主機 firefox 瀏覽器，地址欄分別輸入兩個 IP 地址，來檢驗咱們的配置成功：

​

LoadBalancer（宿主） 的對外 IP 地址爲 VIP，即 VIP 地址爲 10.2.10.10( 10.2.10.10 是虛擬出來的，個人外網是10.2.0.xx )，開啓 LoadBalancer 的內核路由轉發

echo '1' | sudo tee /proc/sys/net/ipv4/ip_forward
cat /proc/sys/net/ipv4/ip_forward #1 1 說明此機器已開啓內核路由轉發

.使用 ipvsadm 添加 ipvs 規則。定義集羣服務：

sudo ipvsadm -A -t 10.2.10.10:80 -s rr         #定義集羣服務
sudo ipvsadm -a -t 10.2.10.10:80 -r 172.17.0.6 -m #添加 RealServer1
sudo ipvsadm -a -t 10.2.10.10:80 -r 172.17.0.7 -m #添加 RealServer2
sudo ipvsadm -l                 #查看 ipvs 定義的規則
# 添加集羣服務
-A：添加一個新的集羣服務
-t: 使用 TCP 協議
-s: 指定負載均衡調度算法
rr：輪詢算法(LVS 實現了 8 種調度算法)
192.168.100.5:8888  定義集羣服務的 IP 地址（VIP） 和端口

# 添加 Real Server 規則
-a：添加一個新的 RealServer 規則
-t：tcp 協議
-r：指定 RealServer IP 地址
-m：定義爲 NAT 
上面命令添加了兩個服務器 RealServer1 和 RealServer2

測試結果（若是強制刷新沒有變化 就把對應的nginx關閉再看看）

LVS/DR 的搭建

因爲我實在同一個環境裏面測試，因此如今須要刪除上面的東西

sudo ipvsadm -C #清除 ipvsadm 的規則
docker stop RealServer1
docker stop RealServer2
docker rm RealServer1
docker rm RealServer2

經過 docker 建立三個 container 來模擬服務器池中的成員

docker run --privileged --name=LoadBalancer -tid ubuntu
docker run --privileged --name=RealServer1 -tid ubuntu
docker run --privileged --name=RealServer2 -tid ubuntu

配置兩臺 RealServer 的環境，已RealServer1爲例

docker attach RealServer1
apt-get update
apt install net-tools
apt-get install vim -y 
apt-get install nginx -y
#vi /usr/share/nginx/html/index.html
vi /var/www/html/index.nginx-debian.html
service nginx start

修改內核參數，抑制 arp，以 RealServer1 爲例，登陸 container，執行下列命令：

# 設置只回答目標IP地址是來訪網絡接口本地地址的ARP查詢請求 
echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore

# 爲了保險本身能夠查看一下是否成功修改
cat /proc/sys/net/ipv4/conf/lo/arp_ignore

# 設置對查詢目標使用最適當的本地地址.在此模式下將忽略這個IP數據包的源地址並嘗試選擇與能與該地址通訊的本地地址.首要是選擇全部的網絡接口的子網中外出訪問子網中包含該目標IP地址的本地地址. 若是沒有合適的地址被發現,將選擇當前的發送網絡接口或其餘的有可能接受到該ARP迴應的網絡接口來進行發送.
echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce

# 使得上面的配置當即生效
sysctl -p

建立網卡別名與添加路由

只有目的 IP 是本機器中的一員時纔會作相應的處理，因此須要添加網卡別名（172.17.0.10是虛擬出來，和我docker容器的ip是通一段 2個server的docker ip是172.17.0.6/7）：

apt-get install network-manager
# 配置虛擬IP
ifconfig lo:0 172.17.0.10 broadcast 172.17.0.10 netmask 255.255.255.255 up
#172.17.0 和docker0 相同網段
# 添加路由，由於本就是相同的網段因此能夠不添加該路由
route add -host 172.17.0.10 dev lo:0
service network-manager restart

配置一臺 LoadBalancer 環境：

docker attach LoadBalancer
apt-get update
apt install net-tools
apt-get install ipvsadm
ifconfig eth0:0  172.17.0.10:80 netmask 255.255.255.0 up
ipvsadm -A -t 172.17.0.10:80 -s rr         # 定義集羣服務
ipvsadm -a -t 172.17.0.10:80 -r 172.17.0.6 -g # 添加 RealServer1
ipvsadm -a -t 172.17.0.10:80 -r 172.17.0.7 -g # 添加 RealServer2
ipvsadm -l                  # 查看 ipvs 定義的規則
#-g：定義爲 DR 模式

測試結果（若是強制刷新沒有變化 就把對應的nginx關閉再看看）

​

參考：

LVS負載均衡（LVS簡介、三種工做模式、十種調度算法）

Docker 的簡單使用&LVSNAT&LVSDR 的實現