部署負載均衡：LVS-DR羣集（直連路由模式）

時間  2021-01-22
標籤 html 前端 算法 vim centos 瀏覽器 服務器 網絡 負載均衡 oop 欄目 負載均衡 简体版
原文   原文鏈接

部署負載均衡：LVS-DR羣集（直連路由模式）

 

文章目錄

  • 部署負載均衡：LVS-DR羣集（直連路由模式）
    • 1、LVS-DR數據包流向分析
    • 2、LVS-DR中的ARP問題
    • 3、LVS 負載均衡羣集-DR模式
      • 1.數據包流量分析
      • 2.DR 模式的特色
    • 4、LVS-DR負載均衡集羣部署步驟
      • 一、配置負載調度器(192.168.171.7)
        • （1）配置虛擬 IP 地址)（VIP:192.168.171.199）
        • （2）調整proc響應參數
        • （3）配置負載分配策略
      • 二、部署共享存儲（NFS服務器：192.168.171.14）
      • 三、配置節點服務器（192.168.171.四、192.168.171.17）
        • （1）配置虛擬 IP 地址（VIP：192.168.171.199）兩個服務器都要配置
        • （2）調整內核的ARP 響應參數以阻止更新 VIP 的MAC 地址，避免發生衝突
        • （3）測試LVS羣集

 

1、LVS-DR數據包流向分析

爲方便進行原理分析，將Client與羣集機器放在同一網絡中，數據包流經的路線爲1-2-3-4html

一、Client 向目標 VIP 發出請求，Director（負載均衡器）接收。
此時源MAC 地址爲Client MAC地址，目標MAC地址爲 調度器Director 的MAC地址。前端

二、Director 根據負載均衡算法選擇 RealServer_1，不修改也不封裝IP報文，而是將數據幀的MAC地址改成RealServer_1的MAC地址，而後在局域網上發送。
此時源MAC地址爲Director的MAC地址，目的MAC地址爲RealServer_1的MAC地址。算法

三、RealServer_1收到這個幀，解封裝後發現目標IP與本機匹配（RealServer事先綁定了VIP），因而處理這個報文。隨後從新封裝報文，將響應報文經過 lo 接口傳送給物理網卡而後向外發出。
此時源MAC地址爲RealServer_1的MAC地址，目的MAC地址爲Client的MAC地址。vim

四、Client將收到回覆的報文。Client 認爲獲得正常的服務，而不會知道是哪一臺服務器處理的。
注意：若是跨網段，則報文經過路由器經由Internet返回給用戶。centos

2、LVS-DR中的ARP問題

一、在LVS-DR負載均衡集羣中，負載均衡與節點服務器都要配置相同的VIP地址。瀏覽器

二、在局域網中具備相同的IP地址，勢必會形成各服務器ARP通訊的紊亂。服務器

  • 當ARP廣播發送到LVS-DR集羣時，由於負載均衡器和節點服務器都是鏈接到相同網絡上，它們都會接收到ARP廣播。
  • 只有前端的負載均衡器進行響應，其餘節點服務器不該該響應ARP廣播。

三、對節點服務器進行處理，使其不響應針對VIP的ARP請求。網絡

  • 使用虛接口lo:0承載VIP地址
  • 設置內核參數arp_ignore=1:系統只響應目的IP爲本地IP的ARP請求

四、RealServer返回報文（源IP是VIP）經路由器轉發，從新封裝報文時，須要先獲取路由器的MAC地址。負載均衡

五、發送ARP請求時，Linux默認使用IP包的源IP地址（即VIP）做爲ARP請求包中的源IP地址，而不使用發送接口的IP地址oop

  • 如：ens33

六、路由器收到ARP請求後，將更新ARP表項

七、原有的VIP對應Director的MAC地址會被更新爲VIP對應RealServer的MAC地址

八、路由器根據ARP表項，會將新來的請求報文轉發給RealServer，致使Director的VIP失效
解決方法：

  • 對節點服務器進行處理，設置內核參數arp_announce=2：系統不使用IP包的源地址來設置ARP請求的源地址，而選擇發送接口的IP地址。

九、解決ARP的兩個問題的設置方法

修改 /etc/sysctl.conf 文件
添加
net.ipv4.conf.lo.arp_ignore=1
net.ipv4.conf.lo.arp_announce=2
net.ipv4.conf.all.arp_ignore=1
net.ipv4.conf.all.arp_announce=2

3、LVS 負載均衡羣集-DR模式

1.數據包流量分析

  1. 客戶端發送請求到 Director Server (負載均衡器)，請求的數據報文(源 IP 是 CIP, 目標IP是 VIP)到達內核空間
  2. Director Server和Real Server 在同一個網絡中，數據經過二層數據鏈路層來傳輸
  3. 內核空間判斷數據包的目標 IP 是本機 VIP，此時 IPVS (IP 虛擬服務器)比對數據包請求的服務是不是集羣服務，是集羣服務就從新封裝數據包。修改源 MAC 地址爲 Director Server 的 MAC 地址，修改目標 MAC 地址爲 Real Server 的 MAC 地址，源 IP 地址與目標 IP 地址沒有改變，而後將數據包發送給 Real Server
  4. 到達 Real Server 的請求報文的 MAC 地址是自身的 MAC 地址，就接收此報文；數據包從新封裝報文(源 IP 地址爲 VIP，目標 IP 爲 CIP)，將響應報文經過 lo 接口傳送給物理網卡而後向外發出
  5. Real Server 直接將響應報文傳送到客戶端

2.DR 模式的特色

  • Director Server 和 Real Server 必須在同一個物理網絡中
  • Real Server 可使用私有地址，也可使用公網地址；若是使用公網地址，能夠經過互聯網對 RIP 進行直接訪問
  • Director Server 做爲羣集的訪問入口，但不做爲網關使用
  • 全部的請求報文經由 Director Server，但回覆響應報文不能通過 Director Server
  • Real Server 的網關不容許指向 Director Server IP，即 Real Server 發送的數據包不容許通過 Director Server
  • Real Server 上的 lo 接口配置 VIP 的 IP 地址

4、LVS-DR負載均衡集羣部署步驟

搭建環境：
DR 服務器（負載調度器）（centos7-1）：192.168.171.7
Web 服務器1（centos7-2）：192.168.171.4
Web 服務器2（centos7-3）：192.168.171.17
NFS服務器（server1）：192.168.171.14
VIP：192.168.171.199
Windows10客戶端：192.168.171.100

一、配置負載調度器(192.168.171.7)

準備環境
systemctl stop firewalld.service 
systemctl disable firewalld.service 
setenforce 0

modprobe ip_vs         #加載ip_vs模塊
cat /proc/net/ip_vs    #查看ip_vs版本信息

yum install -y ipvsadm

（1）配置虛擬 IP 地址)（VIP:192.168.171.199）

爲網卡綁定VIP地址

cd /etc/sysconfig/network-scripts/
cp ifcfg-ens33 ifcfg-ens33:0

vim ifcfg-ens33:0
#清空原有配置，添加如下內容
DEVICE=ens33:0
ONBOOT=yes
IPADDR=192.168.171.199
NETMASK=255.255.255.255


ifup ens33:0
#開啓虛擬 ip

ifconfig ens33:0
#查看虛擬 ip

mark

mark

（2）調整proc響應參數

#因爲 LVS 負載調度器和各節點須要共用 VIP 地址，應該關閉Linux 內核的重定向參數響應，不充當路由器，
vim /etc/sysctl.conf
添加
net.ipv4.ip_forward = 0
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0

sysctl -p

mark

（3）配置負載分配策略

ipvsadm-save > /etc/sysconfig/ipvsadm
或
ipvsadm --save > /etc/sysconfig/ipvsadm

systemctl start ipvsadm

ipvsadm -C
#清除原有策略

ipvsadm -A -t 192.168.171.199:80 -s rr
ipvsadm -a -t 192.168.171.199:80 -r 192.168.171.4:80 -g
ipvsadm -a -t 192.168.171.199:80 -r 192.168.171.17:80 -g
#若使用隧道模式，則結尾處 -g 替換爲 -i

ipvsadm

ipvsadm -ln
#查看節點狀態，Route表明 DR模式

mark

二、部署共享存儲（NFS服務器：192.168.171.14）

systemctl stop firewalld.service 
systemctl disable firewalld.service 
setenforce 0

yum install -y nfs-utils rpcbind

systemctl start nfs.service 
systemctl start rpcbind.service
systemctl enable nfs.service 
systemctl enable rpcbind.service

mkdir /opt/ypy /opt/555
chmod 777 /opt/ypy/ /opt/555/

vim /etc/exports
/usr/share *(ro,sync)
/opt/xcf 192.168.126.0/24(rw,sync)
/opt/zxc 192.168.126.0/24(rw,sync)

exportfs -rv
showmount -e

三、配置節點服務器（192.168.171.四、192.168.171.17）

systemctl stop firewalld.service 
systemctl disable firewalld.service 
setenforce 0

#將兩個節點服務器的網關和DNS註釋掉後重啓網卡，若是有網關服務器則指向網關服務器

（1）配置虛擬 IP 地址（VIP：192.168.171.199）兩個服務器都要配置

#此地址僅用作發送 Web 響應數據包的源地址，並不須要監聽客戶機的訪問請求（改由調度器監聽並分發）
#所以使用虛接口 lo:0 來承載 VIP 地址，併爲本機添加一條路有記錄，將訪問 VIP 的數據限制在本地，以免通訊紊亂

cd /etc/sysconfig/network-scripts/
cp ifcfg-lo ifcfg-lo:0

vim ifcfg-lo:0

更改內容該註釋的註釋
DEVICE=lo:0
IPADDR=192.168.171.199
NETMASK=255.255.255.255
#注意，此處子網掩碼必須全爲1
#NETWORK=127.0.0.0
# If you're having problems with gated making 127.0.0.0/8 a martian,
# you can change this to something else (255.255.255.255, for example)
#BROADCAST=127.255.255.255
ONBOOT=yes
#NAME=loopback


ifup lo:0
ifconfig lo:0


route add -host 192.168.171.199 dev lo:0
#禁錮路由
route -n
#查看路由

vim /etc/rc.local
#添加VIP本地訪問路由
/sbin/route add -host 192.168.171.199 dev lo:0

chmod +x /etc/rc.d/rc.local

mark

（2）調整內核的ARP 響應參數以阻止更新 VIP 的MAC 地址，避免發生衝突

vim /etc/sysctl.conf
......
net.ipv4.conf.lo.arp_ignore = 1   #系統只響應目的IP爲本地IP的ARP請求
net.ipv4.conf.lo.arp_announce = 2  #系統不使用IP包的源地址來設置ARP請求的源地址，而選擇發送接口的IP地址
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2

sysctl -p

或者
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

yum install -y nfs-utils rpcbind httpd
systemctl start rpcbind
systemctl start httpd

mark

在節點服務器上掛載相應目錄

----------192.168.171.4-----------------

mount.nfs 192.168.171.14:/opt/ypy /var/www/html/
echo 'Hello ypy' > /var/www/html/index.html

#設爲自動掛載
vim /etc/fstab 
192.168.171.14:/opt/ypy /var/www/html nfs defaults,_netdev 0 0

mount -a


----------192.168.171.17-----------------

mount.nfs 192.168.171.14:/opt/555 /var/www/html/
echo 'hello 555' > /var/www/html/index.html

#設爲自動掛載
vim /etc/fstab 
192.168.171.14:/opt/555 /var/www/html nfs defaults,_netdev 0 0

mount -a

（3）測試LVS羣集

用虛擬機win10做爲客戶端（網關設置爲指向192.168.171.199）

mark

在瀏覽器中訪問http://192.168.171.199

能夠看到真正的服務器的網頁信息，過一會刷新會變動內容，有冷卻時間

mark

mark

相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程