LVS 的三種工做模式 [轉]

目錄： LVS三種模式配置 LVS 三種工做模式的優缺點比較 LVS三種模式配置 LVS三種（LVS-DR,LVS-NAT,LVS-TUN）模式的簡要配置 LVS是什麼: http://www.linuxvirtualserver.org/VS-NAT.html http://www.linuxvirtualserver.org/VS-IPTunneling.html http://www.linuxvirtualserver.org/VS-DRouting.html 首先是安裝ipvsadm管理程序 下載：http://www.linuxvirtualserver.org/software/ 注意對應本身的內核版本 ipvsadm-1.24.tar.gz tar zxvf ipvsadm-1.24.tar.gz cd ipvsadm-1.24 make make install 1： LVS-DR 模式(調度器與實際服務器都有一塊網卡連在同一物理網段上) 簡要的網絡結構以下所示 配置LVS server #！/bin/sh  VIP=192.168.0.210    RIP1=192.168.0.175       #RealServer1 的eth0的地址  RIP2=192.168.0.145        #RealServer2 的eth0的ip地址 #Director 的eth0的ip地址是192.168.0.x (和RIP一、RIP2在同一網段) . /etc/rc.d/init.d/functions          case "$1" in          start)          echo "start LVS of DirectorServer"          #Set the Virtual IP Address             /sbin/ifconfig eth0:1 $VIP broadcast $VIP netmask 255.255.255.255 up          /sbin/route add -host $VIP dev eth0:1  #把全部訪問$VIP地址的請求都轉到eth0:1設備          #Clear IPVS Table          /sbin/ipvsadm -C    #清楚ipvsadm的全部規則!          #Set Lvs          /sbin/ipvsadm -A -t $VIP:80 -s rr   #增長一臺虛擬服務器 -s rr 爲負載方式!          /sbin/ipvsadm -a -t $VIP:80 -r $RIP1:80 -g  #增長一條Real Server的轉發記錄!                 /sbin/ipvsadm -a -t $VIP:80 -r $RIP2:80 -g          #Run Lvs          /sbin/ipvsadm          ;;          stop)          echo "close LVS Directorserver"          /sbin/ipvsadm -C          /sbin/ifconfig eth0:1 down          ;;          *)          echo "Usage： $0 {start|stop}"          exit 1          esac 配置 RIP server #!/bin/bash  VIP=192.168.0.210  LOCAL_Name=50bang  BROADCAST=192.168.0.255  #vip's broadcast  . /etc/rc.d/init.d/functions  case "$1" in      start)       echo "reparing for Real Server"         echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore         echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce         echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore         echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce         ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $BROADCAST up          /sbin/route add -host $VIP dev lo:0          ;;      stop)          ifconfig lo:0 down         echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore         echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce         echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore         echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce          ;;      *)          echo "Usage: lvs {start|stop}"          exit 1  esac 2: LVS-TUN 模式 簡要的網絡架構以下: 配置lvs server 引用 #!/bin/sh  # description: start LVS of Directorserver  VIP=192.168.25.41（注意，lvs server那臺機器2個ip，一個是vip,一個是自己ip例如192.168.25.42）  RIP1=192.168.25.44  RIP2=192.168.25.45  #RIPn=192.168.0.n  GW=192.168.25.254  . /etc/rc.d/init.d/functions  case "$1" in  start)  echo " start LVS of DirectorServer"  # set the Virtual IP Address  /sbin/ifconfig tunl0 $VIP broadcast $VIP netmask 255.255.255.0 up  /sbin/route add -host $VIP dev tunl0  #Clear IPVS table  /sbin/ipvsadm -C  #set LVS  /sbin/ipvsadm -A -t $VIP:80 -s rr  /sbin/ipvsadm -a -t $VIP:80 -r $RIP1:80 -i  /sbin/ipvsadm -a -t $VIP:80 -r $RIP2:80 -i  #/sbin/ipvsadm -a -t $VIP:80 -r $RIP3:80 -i  #Run LVS  /sbin/ipvsadm  #end  ;;  stop)  echo "close LVS Directorserver"  ifconfig tunl0 down  /sbin/ipvsadm -C  ;;  *)  echo "Usage: $0 {start|stop}"  exit 1  esac 配置real server 引用 #!/bin/sh  # ghb in 20060812  # description: Config realserver tunl port and apply arp patch  VIP=192.168.25.43  . /etc/rc.d/init.d/functions  case "$1" in  start)  echo "Tunl port starting"  ifconfig tunl0 $VIP netmask 255.255.255.0 broadcast $VIP up  /sbin/route add -host $VIP dev tunl0  echo "1" >/proc/sys/net/ipv4/conf/tunl0/arp_ignore  echo "2" >/proc/sys/net/ipv4/conf/tunl0/arp_announce  echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore  echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce  sysctl -p  ;;  stop)  echo "Tunl port closing"  ifconfig tunl0 down  echo 1 > /proc/sys/net/ipv4/ip_forward  echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce  ;;  *)  echo "Usage: $0 {start|stop}"  exit 1  esac 3: LVS-NAT 模式 簡要的網絡架構以下圖: 配置LVS server 引用 #!/bin/sh  # description: start LVS of Nat  VLAN-IP=202.99.59.110  RIP1=10.1.1.2  RIP2=10.1.1.3  #RIPn=10.1.1.n  GW=10.1.1.1  . /etc/rc.d/init.d/functions  case "$1" in  start)  echo " start LVS of NAtServer"  echo "1" >/proc/sys/net/ipv4/ip_forward  echo "0" >/proc/sys/net/ipv4/conf/all/send_redirects  echo "0" >/proc/sys/net/ipv4/conf/default/send_redirects  echo "0" >/proc/sys/net/ipv4/conf/eth0/send_redirects  echo "0" >/proc/sys/net/ipv4/conf/eth1/send_redirects(內網卡上的)  #Clear IPVS table  /sbin/ipvsadm -C  #set LVS  /sbin/ipvsadm -a -t 202.99.59.110:80 -r 10.1.1.2:80 -m -w 1  /sbin/ipvsadm -a -t 202.99.59.110:80 -r 10.1.1.3:80 -m -w 1  #Run LVS  /sbin/ipvsadm  #end  ;;  stop)  echo "close LVS Nat server"  echo "0" >/proc/sys/net/ipv4/ip_forward  echo "1" >/proc/sys/net/ipv4/conf/all/send_redirects  echo "1" >/proc/sys/net/ipv4/conf/default/send_redirects  echo "1" >/proc/sys/net/ipv4/conf/eth0/send_redirects  echo "1" >/proc/sys/net/ipv4/conf/eth1/send_redirects(內網卡上的)  /sbin/ipvsadm -C  ;;  *)  echo "Usage: $0 {start|stop}"  exit 1  esac 配置real server LVS-Nat 模式的後端機器不須要配置. tips： -g 表示使用DR方式，-m表示NAT方式，-i表示tunneling方式。 LVS 三種工做模式的優缺點比較 1、Virtual server via NAT（VS-NAT） 優勢：集羣中的物理服務器可使用任何支持TCP/IP操做系統，物理服務器能夠分配Internet的保留私有地址，只有負載均衡器須要一個合法的IP地址。 缺點：擴展性有限。當服務器節點（普通PC服務器）數據增加到20個或更多時,負載均衡器將成爲整個系統的瓶頸，由於全部的請求包和應答包都須要通過負載均衡器再生。假使TCP包的平均長度是536字節的話，平均包再生延遲時間大約爲60us（在Pentium處理器上計算的，採用更快的處理器將使得這個延遲時間變短），負載均衡器的最大允許能力爲8.93M/s，假定每臺物理服務器的平臺允許能力爲400K/s來計算，負責均衡器能爲22臺物理服務器計算。 解決辦法：即便是是負載均衡器成爲整個系統的瓶頸，若是是這樣也有兩種方法來解決它。一種是混合處理，另外一種是採用Virtual Server via IP tunneling或Virtual Server via direct routing。若是採用混合處理的方法，將須要許多同屬單一的RR DNS域。你採用Virtual Server via IP tunneling或Virtual Server via direct routing以得到更好的可擴展性。也能夠嵌套使用負載均衡器，在最前端的是VS-Tunneling或VS-Drouting的負載均衡器，而後後面採用VS-NAT的負載均衡器。 2、Virtual server via IP tunneling（VS-TUN） 咱們發現，許多Internet服務（例如WEB服務器）的請求包很短小，而應答包一般很大。 優勢：負載均衡器只負責將請求包分發給物理服務器，而物理服務器將應答包直接發給用戶。因此，負載均衡器能處理很巨大的請求量，這種方式，一臺負載均衡能爲超過100臺的物理服務器服務，負載均衡器再也不是系統的瓶頸。使用VS-TUN方式，若是你的負載均衡器擁有100M的全雙工網卡的話，就能使得整個Virtual Server能達到1G的吞吐量。 不足：可是，這種方式須要全部的服務器支持"IP Tunneling"(IP Encapsulation)協議，我僅在Linux系統上實現了這個，若是你能讓其它操做系統支持，還在探索之中。 3、Virtual Server via Direct Routing（VS-DR） 優勢：和VS－TUN同樣，負載均衡器也只是分發請求，應答包經過單獨的路由方法返回給客戶端。與VS-TUN相比，VS-DR這種實現方式不須要隧道結構，所以可使用大多數操做系統作爲物理服務器，其中包括：Linux 2.0.3六、2.2.九、2.2.十、2.2.12；Solaris 2.5.一、2.六、2.7；FreeBSD 3.一、3.二、3.3；NT4.0無需打補丁；IRIX 6.5；HPUX11等。 不足：要求負載均衡器的網卡必須與物理網卡在一個物理段上 含義 -A (--add-service) 在內核的虛擬服務器列表中添加一條新的虛擬IP記錄。也就是增長一臺新的虛擬服務器。虛擬IP也就是虛擬服務器的IP地址。 -E (--edit-service) 編輯內核虛擬服務器列表中的一條虛擬服務器記錄 -D (--delete-service) 刪除內核虛擬服務器列表中的一條虛擬服務器記錄 -C (--clear) 清除內核虛擬服務器列表中的全部記錄 -R (--restore) 恢復虛擬服務器規則 -S (--save) 保存虛擬服務器規則，輸出爲-R 選項可讀的格式 -a (--add-server) 在內核虛擬服務器列表的一條記錄裏添加一條新的Real Server記錄。也就是在一個虛擬服務器中增長一臺新的Real Server -e (--edit-server) 編輯一條虛擬服務器記錄中的某條Real Server記錄 -d (--delete-server) 刪除一條虛擬服務器記錄中的某條Real Server記錄 -L|-l –list 顯示內核中虛擬服務器列表 -Z (--zero) 虛擬服務器列表計數器清零（清空當前的鏈接數量等） --set tcp tcpfin udp 設置鏈接超時值 -t 說明虛擬服務器提供的是tcp服務，此選項後面跟以下格式： [virtual-service-address:port] or [real-server-ip:port] -u 說明虛擬服務器提供的是udp服務，此選項後面跟以下格式： [virtual-service-address:port] or [real-server-ip:port] -f  fwmark 說明是通過iptables標記過的服務類型 -s   此選項後面跟LVS使用的調度算法 有這樣幾個選項： rr|wrr|lc|wlc|lblc|lblcr|dh|sh 默認的調度算法是： wlc -p  [timeout] 在某個Real Server上持續的服務時間。也就是說來自同一個用戶的屢次請求，將被同一個Real Server處理。此參數通常用於有動態請求的操做中，timeout 的默認值爲300 秒。例如：-p 600，表示持續服務時間爲600秒。 -r 指定Real Server的IP地址，此選項後面跟以下格式：  [real-server-ip:port] -g (--gatewaying) 指定LVS 的工做模式爲直接路由模式（此模式是LVS 默認工做模式） -i (-ipip) 指定LVS 的工做模式爲隧道模式 -m (--masquerading) 指定LVS 的工做模式爲NAT模式 -w (--weight) weight 指定Real Server的權值 -c (--connection) 顯示LVS目前的鏈接信息 如：ipvsadm -L -c -L --timeout 顯示「tcp tcpfin udp」的timeout值，如：ipvsadm -L --timeout -L --daemon 顯示同步守護進程狀態，例如：ipvsadm -L –daemon -L  --stats 顯示統計信息，例如：ipvsadm -L –stats -L  --rate 顯示速率信息，例如：ipvsadm -L  --rate -L  --sort 對虛擬服務器和真實服務器排序輸出，例如：ipvsadm -L --sort