LVS DR模式詳細搭建過程

目錄

前言... 1

1、LVS環境組網... 2

2、ipvsadm安裝前準備... 2

3、httpd與ipvsadm下載... 3

4、LVS負載均衡配置... 4

5、真實WEB服務器配置及arp抑制... 5

6、LVS負載均衡測試... 6

7、附arp抑制參數... 7

 

 

前言

本文主要講解centos5.x LVS DR模式環境搭建理論知識請參考LVS中文官網

http://www.linuxvirtualserver.org/zh/index.html

該頁面可能顯示亂碼若是有亂碼在IE上右鍵勾上狀態欄而後在頁面欄下拉選項中選擇編碼有GB2312和UTF-8若是UTF-8顯示亂碼則選GB2312。若是GB2312顯示亂碼則選UTF-8.

 

 

 

 

1、LVS環境組網

因爲是使用的VM環境本身PC看成客戶機即公網地址調度器與服務器都是VM中虛擬機因此客戶和全部服務器之間都是物理直接相連網絡,邏輯拓撲圖以下

 

2、ipvsadm安裝前準備

外部IP地址	內部IP地址	角色
10.0.0.30/24	192.168.1.1/24	LVS調度器虛擬機
10.0.0.237/24	192.168.1.2/24	RS1虛擬機
10.0.0.238/24	192.168.1.3/24	RS2虛擬機
10.0.0.130/24	無	客戶機本身電腦

 

注實際應用中RS1 RS2沒有外部地址當前環境中沒有物理雙網卡環境都採用一個網卡配置多個IP地址。

 

3、httpd與ipvsadm下載

 

1在各服務器上修改主機名

[root@LVS1 ~]# hostname LVS1

[root@RS1 ~]# hostname RS1

[root@RS2 ~]# hostname RS2

 

2在RS1 RS2上安裝httpd服務

[root@RS2 ~]# yum installhttpd –y

[root@RS2 ~]#/etc/init.d/httpd start

[root@RS2 ~# ps -ef|grephttpd

 

[root@RS1 ~]# yum installhttpd –y

[root@RS1 ~]# /etc/init.d/httpdstart

[root@RS1 ~# ps -ef|grephttpd<==查看httpd服務是否起來

 

 

[root@RS1 ~]# cat/etc/httpd/conf/httpd.conf|grep DocumentRoot <==查找系統站點目錄路徑

# DocumentRoot: The directoryout of which you will serve your

DocumentRoot"/var/www/html"

# This should be changed towhatever you set DocumentRoot to.

# DocumentRoot/www/docs/dummy-host.example.com

 

[root@RS1 ~]# echo"RS1" >/var/www/html/index.html

[root@RS2 src]# echo"RS2" >/var/www/html/index.html

 

Httpd服務測試

 

 

 

 

測試成功

 

 

3下載ipvsadm

wget http://www.linuxvirtualserver.org/software/kernel-2.6/ipvsadm-1.24.tar.gz

wget http://www.linuxvirtualserver.org/software/kernel-2.6/ipvsadm-1.26.tar.gz

我所使用的源包下載目錄/usr/local/src

個人LVS環境

[root@RS1 src]# cat/etc/redhat-release 

CentOS release 5.8 (Final)

[root@RS1 src]# uname -rm

2.6.18-308.el5 x86_64

ipvsadm-1.26對內核有要求要求內核版本在2.6.28及之後的版本若是符合了系統環境還要安裝依賴包yum install libnl*popt* -y。

個人內核版本不知足使用ipvsadm-1.24。

[root@LVS1 src]# tar -zxfipvsadm-1.24.tar.gz

[root@LVS1 src]# ln -s /usr/src/kernels/2.6.18-348.12.1.el5-x86_64/usr/src/linux<==編譯有使用的路徑爲/usr/src/linux可在Makefile中查看若是不作連接會編譯失敗

[root@LVS1 src]# ll /usr/src/

total 16

drwxr-xr-x 2 root root 4096 May11 2011 debug

drwxr-xr-x 3 root root 4096Aug 5 03:53 kernels

lrwxrwxrwx1 root root 43 Aug 5 03:56 linux ->/usr/src/kernels/2.6.18-348.12.1.el5-x86_64<==要使用ll /usr/src/查看若是軟連接一閃一閃的表明連接失敗

[root@LVS1 src]# cd ipvsadm-1.24

[root@LVS1 ipvsadm-1.24]# make&&make install <==若是編譯失敗請按上面步驟一步一步排錯。

[root@LVS1 ipvsadm-1.24]# lsmod |grepip_vs <==查看內核模塊是否有ipvsadm

[root@LVS1 ipvsadm-1.24]# ipvsadm

IP Virtual Server version 1.2.1(size=4096)

Prot LocalAddress:PortScheduler Flags

-> RemoteAddress:Port Forward Weight ActiveConn InActConn

#還有一種加載ipvsadm方法用modprobe ip_vs

[root@LVS1 ipvsadm-1.24]# lsmod |grepip_vs <==查看內核模塊有表明ipvsadm加載進內核當中此時LVS安裝完畢

ip_vs 122113 0

 

4、LVS負載均衡配置

1配置VIP和DIP

IP配置參考步驟2安裝準備

[root@LVS1 ~]# ifconfig eth010.0.0.30 netmask 255.255.255.0 #VIP

[root@LVS1 ~]# ifconfigeth0:1 192.168.1.1 netmask 255.255.255.0 #DIP

 

2添加真實服務器

[root@LVS1 ~]# ipvsadm –C <==手工清空原來表內容

[root@LVS1 ~]# ipvsadm --set30 5 60 <== 設置鏈接超時值

[root@LVS1 ~]# ipvsadm -A -t10.0.0.30:80 -s wrr -p 20 <== -A添加地址-t指定VIP TCP端口-s指定調度算法–p會話保持時間

[root@LVS1 ~]# ipvsadm -L –n <== 查看錶內容添加了一組VIP地址和端口

IP Virtual Server version 1.2.1(size=4096)

Prot LocalAddress:PortScheduler Flags

-> RemoteAddress:Port Forward Weight ActiveConn InActConn

TCP 10.0.0.30:80 wrr persistent 20

[root@LVS1 ~]# ipvsadm -a -t10.0.0.30:80 -r 192.168.1.2:80 -g -w 1 <== -a指定真實服務器 -t lvs上VIP-r真實服務器ip及端口-w權重值-g先擇DR模式-m爲NAT模式

[root@LVS1 ~]# ipvsadm -a -t10.0.0.30:80 -r 192.168.1.3:80 -g -w 1

[root@LVS1 ~]# ipvsadm -L –n <== 查看錶內容添加了兩臺負載轉發的真實服務器

IP Virtual Server version 1.2.1(size=4096)

Prot LocalAddress:PortScheduler Flags

-> RemoteAddress:Port Forward Weight ActiveConn InActConn

TCP 10.0.0.30:80 wrr persistent 20

-> 192.168.1.2:80 Route 1 0 0 

-> 192.168.1.3:80 Route 1 0 0

 

若是添加服務器地址寫錯了可用以下命令刪除即大A添加改成大D刪除小a添加改成小d刪除

ipvsadm –D –t10.0.0.30:80 –s wrr

ipvsadm –d –t10.0.0.30:80 –r 192.168.1.2:80

 

 

5、真實WEB服務器配置及arp抑制

[root@RS1 ~]# ifconfig eth0|grep "inet addr" <==此地址用來本身電腦用CRT軟件登錄設備同時也用來發送arp請求客戶機MAC由於是直接返回頁面給客戶機而當前網絡是同一物理網段必須同網段才正常。

inet addr:10.0.0.237 Bcast:10.0.0.255 Mask:255.255.255.0

[root@RS1 ~]# ifconfig eth0:1192.168.1.2 netmask 255.255.255.0 <==配置內部IP地址

[root@RS1 ~]# ifconfig lo10.0.0.30 netmask 255.255.255.255 <==每臺真實服務器都須要配置VIP

爲何要綁定VIP呢由於DR模式原理是LVS調度器修改mac地址爲真實服務器地址報文的目的IP仍是VIP沒修改網卡只會把目的MAC和目的IP都是本身的報文上送CPU因此真實服務器上必須配置VIP!

爲何使用lo口呢由於lo口爲本地環回口防止本地局域網IP地址衝突!

 

[root@RS2 src]# ifconfigeth0|grep "inet addr" <==此地址用來本身電腦用CRT軟件登錄設備同時也用來發送arp請求客戶機MAC由於是直接返回頁面給客戶機而當前網絡是同一物理網段必須同網段才正常。

inet addr:10.0.0.238 Bcast:10.0.0.255 Mask:255.255.255.0

[root@RS2 src]# ifconfig eth0:1192.168.1.3 netmask 255.255.255.0 <==配置內部IP地址

[root@RS2 src]# ifconfig lo10.0.0.30 netmask 255.255.255.255 

 

此時配置完成只是測試時出現一個問題再次登錄CRT中 10.0.0.30地址時登錄到RS1上去了再刷新登錄到RS2上去了。怎麼解決呢

經過分析得出訪問10.0.0.30時會發送arp請求10.0.0.30的mac,而這個網絡中有3個10.0.0.30地址此時那誰給的arp迴應到客戶機訪問的就是誰了。若是RS1的arp迴應先到就訪問的RS1了

解決方法

抑制ARP響應

該抑制只在真實服務器上配置

[root@RS1 ~]# echo"1" >/proc/sys/net/ipv4/conf/lo/arp_ignore

[root@RS1 ~]# echo"2" >/proc/sys/net/ipv4/conf/lo/arp_announce

[root@RS1 ~]# echo"1" >/proc/sys/net/ipv4/conf/all/arp_ignore

[root@RS1 ~]# echo"2" >/proc/sys/net/ipv4/conf/all/arp_announce

 

[root@RS2 src]# echo"1" >/proc/sys/net/ipv4/conf/lo/arp_ignore

[root@RS2 src]# echo"2" >/proc/sys/net/ipv4/conf/lo/arp_announce

[root@RS2 src]# echo"1" >/proc/sys/net/ipv4/conf/all/arp_ignore

[root@RS2 src]# echo"2" >/proc/sys/net/ipv4/conf/all/arp_announce

1 2都表明什麼內容可在最後附錄中查看也可本身網上搜索

 

6、LVS負載均衡測試

顯示的值是RS1,則此時該連接是分配到192.168.1.2上

 

咱們使用的是wrr調度算法該算法中誰的權重值高會優先分配給誰

查看配置發現權重值同樣

[root@LVS1 ~]# ipvsadm -L -n

IP Virtual Server version 1.2.1(size=4096)

Prot LocalAddress:PortScheduler Flags

-> RemoteAddress:Port ForwardWeight ActiveConn InActConn

TCP 10.0.0.30:80 wrr persistent 20

-> 192.168.1.2:80 Route 1 0 0 

-> 192.168.1.3:80 Route 1 0 0 

 

因爲有會話保持功能接下來修改權重值

[root@LVS1 ~]# ipvsadm -d -t10.0.0.30:80 -r 192.168.1.3:80 <==刪除原來配置

[root@LVS1 ~]# ipvsadm -a -t10.0.0.30:80 -r 192.168.1.3:80 -g -w 2 <==從新配置權重值爲2

[root@LVS1 ~]# ipvsadm -L -n

IP Virtual Server version 1.2.1(size=4096)

Prot LocalAddress:PortScheduler Flags

-> RemoteAddress:Port ForwardWeight ActiveConn InActConn

TCP 10.0.0.30:80 wrr persistent 20

-> 192.168.1.3:80 Route 2 0 0 

-> 192.168.1.2:80 Route 1 0 0 

再次進行測試

 

 

7、附arp抑制參數

arp響應限制

1arp_ignore:

定義對目標地址爲本地IP的ARP詢問不一樣的應答模式0 

0 - (默認值): 迴應任何網絡接口上對任何本地IP地址的arp查詢請求

1 - 只回答目標IP地址是來訪網絡接口本地地址的ARP查詢請求

2 -只回答目標IP地址是來訪網絡接口本地地址的ARP查詢請求,且來訪IP必須在該網絡接口的子網段內

3 - 不迴應該網絡界面的arp請求而只對設置的惟一和鏈接地址作出迴應

4-7 - 保留未使用

8 -不迴應全部本地地址的arp查詢

 

2arp_announce:

對網絡接口上本地IP地址的發出的ARP迴應做出相應級別的限制: 肯定不一樣程度的限制,宣佈對來自本地源IP地址發出Arp請求的接口

0 - (默認) 在任意網絡接口eth0,eth1lo上的任何本地地址

1 -儘可能避免不在該網絡接口子網段的本地地址作出arp迴應. 當發起ARP請求的源IP地址是被設置應該經由路由達到此網絡接口的時候頗有用.此時會檢查來訪IP是否爲全部接口上的子網段內ip之一.若是改來訪IP不屬於各個網絡接口上的子網段內,那麼將採用級別2的方式來進行處理. 

2 - 對查詢目標使用最適當的本地地址.在此模式下將忽略這個IP數據包的源地址並嘗試選擇與能與該地址通訊的本地地址.首要是選擇全部的網絡接口的子網中外出訪問子網中包含該目標IP地址的本地地址. 若是沒有合適的地址被發現,將選擇當前的發送網絡接口或其餘的有可能接受到該ARP迴應的網絡接口來進行發送.

 

本文出自 「此心安處是吾鄉」 博客請務必保留此出處http://yangrong.blog.51cto.com/6945369/1287534