Linux集羣架構、用keepalived配置高可用集羣、LVS NAT模式搭建

時間 2019-11-06

標籤 linux 集羣架構 keepalived 配置可用 lvs nat 模式搭建欄目 Linux 简体版

原文原文鏈接

18.1 集羣介紹
18.2 keepalived介紹
18.3/18.4/18.5 用keepalived配置高可用集羣
18.6 負載均衡集羣介紹
18.7 LVS介紹
18.8 LVS調度算法
18.9/18.10 LVS NAT模式搭建html

VRRP協議 https://blog.csdn.net/u013920085/article/details/21184143mysql

LVS 三種模式圖解 http://blog.51cto.com/jiekeyang/1839583linux

fullnat模式 https://ieevee.com/tech/2015/12/08/fullnat.htmlnginx

1、集羣介紹git

根據功能劃分爲兩大類：高可用和負載均衡
 高可用集羣一般爲兩臺服務器，一臺工做，另一臺做爲冗餘，當提供服務的機器宕機，冗餘將接替繼續提供服務
 實現高可用的開源軟件有：heartbeat、keepalived
 負載均衡集羣，須要有一臺服務器做爲分發器，它負責把用戶的請求分發給後端的服務器處理，在這個集羣裏，除了分發器外，就是給用戶提供服務的服務器了，這些服務器數量至少爲2
 實現負載均衡的開源軟件有LVS、keepalived、haproxy、nginx，商業的有F五、Netscaler

2、 keepalived介紹算法

在這裏咱們使用keepalived來實現高可用集羣，由於heartbeat在centos6上有一些問題，影響實驗效果
1. keepalived經過VRRP（Virtual Router Redundancy Protocl）來實現高可用。
2.在這個協議裏會將多臺功能相同的路由器組成一個小組，這個小組裏會有1個master角色和N（N>=1）個backup角色。
3.master會經過組播的形式向各個backup發送VRRP協議的數據包，當backup收不到master發來的VRRP數據包時，就會認爲master宕機了。此時就須要根4.據各個backup的優先級來決定誰成爲新的mater。
4.Keepalived要有三個模塊，分別是core、check和vrrp。其中core模塊爲keepalived的核心，負責主進程的啓動、維護以及全局配置文件的加載和解析，check模塊負責健康檢查，vrrp模塊是來實現VRRP協議的。

3、用keepalived配置高可用集羣sql

實驗準備
    1. 準備兩臺機器001和002，001做爲master，002做爲backup
    2. 兩臺機器都執行安裝yum install -y keepalived
    3. 兩臺機器都安裝nginx,nginx做爲高可用的對象

編輯001上的keepalived配置文件上配置，內容從https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D21Z/master_keepalived.conf獲取apache

原配置文件清空，並寫入如下配置vim

> /etc/keepalived/keepalived.conf 清空後端

global_defs {
   notification_email {
     foutt7777@163.com        //定義出現問題時接收郵件的郵箱
   }
   notification_email_from            //定義發郵件地址（實際沒有）
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL
}

vrrp_script chk_nginx {
    script "/usr/local/sbin/check_ng.sh"        //此腳本爲監控nginx服務是否正常，稍後定義該腳本
    interval 3                    //檢測的間隔是3秒
}

vrrp_instance VI_1 {
    state MASTER            //定義角色爲master
    interface ens33         //網卡
    virtual_router_id 51    //定義路由器的id爲51，主從保持一致
    priority 100            //權重100，此數值要大於backup，決定優先級
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 123456    //定義密碼    
    }
    virtual_ipaddress {
        192.168.116.100    //定義VIP，此處爲公有的ip，主從均可以訪問
    }
    track_script {
        chk_nginx         //加載監控腳本，這裏和上面vrrp_script後面的字符串保持一致
    }
}

編輯監控腳本check_ng.sh，內容從https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D21Z/master_check_ng.sh獲取

vim /usr/local/sbin/check_ng.sh 路徑與keepalived.conf配置文件中的相同，寫入以下內容

#!/bin/bash
#時間變量，用於記錄日誌
d=`date --date today +%Y%m%d_%H:%M:%S`
#計算nginx進程數量
n=`ps -C nginx --no-heading|wc -l`
#若是進程爲0，則啓動nginx，而且再次檢測nginx進程數量，
#若是還爲0，說明nginx沒法啓動，此時須要關閉keepalived
if [ $n -eq "0" ]; then
        /etc/init.d/nginx start
        n2=`ps -C nginx --no-heading|wc -l`
        if [ $n2 -eq "0"  ]; then
                echo "$d nginx down,keepalived will stop" >> /var/log/check_ng.log
                systemctl stop keepalived
        fi
fi

給該腳本賦予755權限，不然沒法被keepalived調用

chmod 755 /usr/local/sbin/check_ng.sh

開啓keepalived服務，中止防火牆，關閉SElinux

systemctl start keepalived

ps aux |grep keep

keepalived的日誌存放在/var/log/messages文件中

關閉防火牆、SElinux，主從都要關閉

systemctl stop firewalld

getenforce

setenforce 0

Permissive 臨時關閉所顯示的狀態

在002上編輯配置文件，內容從https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D21Z/backup_keepalived.conf獲取

清空原配置文件，並按如下內容寫入配置文件中

vim /etc/keepalived/keepalived.conf

global_defs {
   notification_email {
     foutt7777@163.com
   }
   notification_email_from root@aminglinux.com
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL
}

vrrp_script chk_nginx {
    script "/usr/local/sbin/check_ng.sh"
    interval 3
}

vrrp_instance VI_1 {
    state BACKUP
    interface ens33
    virtual_router_id 51        //id和主同樣
    priority 90                //權重90，比主少
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 123456        //密碼
    }
    virtual_ipaddress {
        192.168.116.100        //ip和主同樣
    }
    track_script {
        chk_nginx
    }
}

002上編輯監控腳本，內容從https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D21Z/backup_check_ng.sh獲取

vim /usr/local/sbin/check_ng.sh

nginx兩種啓動方式：

systemctl start nginx     yum安裝啓動方式
/etc/init.d/nginx start   源碼包編譯安裝啓動方式

#時間變量，用於記錄日誌
d=`date --date today +%Y%m%d_%H:%M:%S`
#計算nginx進程數量
n=`ps -C nginx --no-heading|wc -l`
#若是進程爲0，則啓動nginx，而且再次檢測nginx進程數量，
#若是還爲0，說明nginx沒法啓動，此時須要關閉keepalived
if [ $n -eq "0" ]; then
        /etc/init.d/nginx start
        n2=`ps -C nginx --no-heading|wc -l`
        if [ $n2 -eq "0"  ]; then
                echo "$d nginx down,keepalived will stop" >> /var/log/check_ng.log
                systemctl stop keepalived
        fi
fi

給該腳本賦予755權限，不然沒法被keepalived調用

chmod 755 /usr/local/sbin/check_ng.sh

開啓keepalived服務，中止防火牆，關閉SElinux

systemctl start keepalived

關閉防火牆，與主上同樣

systemctl stop firewalld
getenforce
setenforce 0

此時使用主的ip直接訪問

訪問到了該文件

cat /usr/local/nginx/conf/vhost/aaa.com.conf
cat /data/wwwroot/default/index.html

使用從的ip直接訪問

虛擬IP 192.168.116.100顯示的頁面爲master的頁面

須要使用ip add才能夠查看到 192.168.116.100此vip，ifconfig看不到，vip在master上

002沒有vip

測試高可用，一般使用兩臺機器

在master上增長iptabls規則 
 iptables -I OUTPUT -p vrrp -j DROP        把主上的vrr協議，出去的包封掉，不能達到切換資源的目的

因此要想讓001上的master宕機；直接關閉keepalived服務

systemctl stop keepalived 關閉keepalived服務，此時主上沒有了vip

vip在從上顯示

此時訪問vip 192.168.116.100，此時VIP完美轉移到從的backup上面，不影響用戶使用

若是在主上啓動systemctl start keepalived.service再去訪問vip，會當即回到matser上

4、負載均衡集羣介紹

負載均衡軟件分類：

主流的負載均衡開源軟件：LVS、keepalived、haproxy、nginx等
其中，LVS屬於4層（網絡OSI7層模型），nginx屬於7層，haproxy便可以是4層，也能夠是7層。
keepalived的負載均衡功能其實就是lvs
lvs這種4層的負載均衡是能夠分發除80外的其餘端口通訊，好比mysql，而nginx僅僅支持http、https、mail，haproxy也能夠支持mysql
4層和7層負載比較：
LVS4層的更穩定，能承受更多的請求
nginx 7層的更加靈活，能實現更多的個性化須要

5、lvs介紹

LVS是由國人章文嵩開發
 流行度不亞於apache的httpd，基於TCP/IP作的路由和轉發，穩定性和效率很高
 LVS最新版本基於Linux內核2.6，有好多年不更新了
 LVS有三種常見的模式：NAT、DR、IP Tunnel
 LVS架構中有一個核心角色叫作分發器（Load balance），它用來分發用戶的請求，還有諸多處理用戶請求的服務器（Real Server，簡稱rs）

LVS NAT模式

這種模式藉助iptables的nat表來實現
 用戶的請求到分發器後，經過預設的iptables規則，把請求的數據包轉發到後端的rs上去
 rs須要設定網關爲分發器的內網ip
 用戶請求的數據包和返回給用戶的數據包所有通過分發器，因此分發器成爲瓶頸
 在nat模式中，只須要分發器有公網ip便可，因此比較節省公網ip資源

LVS IP Tunnel模式

這種模式，須要有一個公共的IP配置在分發器和全部rs上，咱們把它叫作vip
客戶端請求的目標IP爲vip，分發器接收到請求數據包後，會對數據包作一個加工，會把目標IP改成rs的IP，這樣數據包就到了rs上
rs接收數據包後，會還原原始數據包，這樣目標IP爲vip，由於全部rs上配置了這個vip，因此它會認爲是它本身

LVS DR模式

這種模式，也須要有一個公共的IP配置在分發器和全部rs上，也就是vip
和IP Tunnel不一樣的是，它會把數據包的MAC地址修改成rs的MAC地址
rs接收數據包後，會還原原始數據包，這樣目標IP爲vip，由於全部rs上配置了這個vip，因此它會認爲是它本身

6、LVS調度算法

前四種是最經常使用的

輪詢 Round-Robin  rr
 加權輪詢 Weight Round-Robin wrr
 最小鏈接 Least-Connection lc
 加權最小鏈接 Weight Least-Connection wlc
 基於局部性的最小鏈接 Locality-Based Least Connections lblc
 帶複製的基於局部性最小鏈接 Locality-Based Least Connections with Replication  lblcr
 目標地址散列調度 Destination Hashing dh
 源地址散列調度 Source Hashing  sh

7、LVS NAT模式搭建

試驗原理：

LVS NAT模式藉助iptables的nat表來實現：

用戶的請求到分發器後，經過預設的iptables規則，把請求的數據包轉發到後端的rs上去.
rs須要設定網關爲分發器的內網ip.
用戶請求的數據包和返回給用戶的數據包所有通過分發器，因此分發器成爲瓶頸.
在nat模式中，只須要分發器有公網ip便可，因此比較節省公網ip資源.

試驗準備：

三臺機器：

分發器，也叫調度器（簡寫爲dir） 內網：192.168.116.3，外網：192.168.253.0（vmware僅主機模式）

rs1 內網：192.168.116.33，設置網關爲192.168.116.3

rs2 內網：192.168.116.133，設置網關爲192.168.116.3，克隆一臺003機器,ip改成192.168.116.133

分發器須要兩個網卡，也就是001機器上須要兩個網卡,vmware上配置第二個網卡爲僅主機模式

此時查看ens37網卡的IP爲192.168.253.128

在三臺機器上查看iptables規則，並執行如下操做

iptables -nvL
systemctl stop firewalld            關閉firewalld 
systemctl disable firewalld        禁止開機啓動
systemctl enable iptables            開啓iptables服務
systemctl start iptables    
iptables -F
service iptables save   保存規則，調用空規則

若是沒有iptables服務，須要安裝iptables-services服務： yum install -y iptables-services

關閉三臺機器的SElinux

setenforce 0

爲了保險起見，修改配置文件

vim /etc/selinux/config
    SELINUX=disabled

把rs1（002），rs2（003）的網關設置爲分發器的內網ip，也就是001的內網ip：192.168.116.3，不然沒法進行通訊

vim /etc/sysconfig/network-scripts/ifcfg-ens33

修改完成重啓網卡

/etc/init.d/network restart

查看其網關： route -n

NAT模式搭建

只須要在分發器dir上安裝ipvsadm，即只須要在001安裝

yum install -y ipvsadm

在dir上建立並編寫lvs_nat.sh腳本，vim /usr/local/sbin/lvs_nat.sh //內容以下

#! /bin/bash
# director 服務器上開啓路由轉發功能
echo 1 > /proc/sys/net/ipv4/ip_forward        #給此文件重定向了一個新的數字1到文件中，爲內核參數，對內核作調整，實現路由轉發
# 關閉icmp的重定向
echo 0 > /proc/sys/net/ipv4/conf/all/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/default/send_redirects
# 注意區分網卡名字，001機器上的兩個網卡分別爲ens33和ens37
echo 0 > /proc/sys/net/ipv4/conf/ens33/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/ens37/send_redirects
# director 設置nat防火牆
iptables -t nat -F
iptables -t nat -X
iptables -t nat -A POSTROUTING -s 192.168.116.0/24  -j MASQUERADE
#director設置ipvsadm規則，-C清空規則，-A增長規則，-t跟分發器ip，wlc爲算法，-p指定超時時間，單位秒，-r指定real_server是誰，-m爲NAT的模式，-w是權重
IPVSADM='/usr/sbin/ipvsadm'
$IPVSADM -C
$IPVSADM -A -t 192.168.253.128:80 -s wlc -p 3            
$IPVSADM -a -t 192.168.253.128:80 -r 192.168.116.33:80 -m -w 1
$IPVSADM -a -t 192.168.253.128:80 -r 192.168.116.133:80 -m -w 1

配置完成，執行一下看是否有報錯

sh /usr/local/sbin/lvs_nat.sh

NAT模式效果測試

兩臺rs上都安裝nginx
設置兩臺rs的主頁，作一個區分，也就是說直接curl兩臺rs的ip時，獲得不一樣的結果

開啓002和003的nginx並設置兩臺機器的主頁，作區分

curl localhost

vim /usr/local/nginx/html/index.html

進行測試：

直接訪問公網ip，頁面測試容易有緩存，能夠按照下面使用curl測試

爲了試驗效果進入腳本，把延遲時間去掉

vim /usr/local/sbin/lvs_nat.sh
sh /usr/local/sbin/lvs_nat.sh  執行腳本

ipvsadm -ln 查看其規則，小寫（L）n，並把wlc規則改成rr，使其顯示的更加均衡

curl 192.168.253.128 訪問公網ip進行測試，此時說明試驗成功

相關標籤/搜索

每日一句

每一个你不满意的现在，都有一个你没有努力的曾经。