Linux集羣架構

18.1 集羣介紹

根據功能劃分爲兩大類：高可用和負載均衡  

高可用集羣一般爲兩臺服務器，一臺工做，另一臺做爲冗餘，當提供服務的機器宕機，冗餘將接替繼續提供服務  

實現高可用的開源軟件有：heartbeat、keepalived  

負載均衡集羣，須要有一臺服務器做爲分發器，它負責把用戶的請求分發給後端的服務器處理，在這個集羣裏，除了分發器外，就是給用戶提供服務的服務器了，這些服務器數量至少爲2

實現負載均衡的開源軟件有LVS、keepalived、haproxy、nginx，商業的有F五、Netscaler

18.2 keepalived介紹

在這裏咱們使用keepalived來實現高可用集羣，由於heartbeat在centos6上有一些問題，影響實驗效果  

keepalived經過VRRP（Virtual Router Redundancy Protocl）來實現高可用。  

在這個協議裏會將多臺功能相同的路由器組成一個小組，這個小組裏會有1個master角色和N（N>=1）個backup角色。  

master會經過組播的形式向各個backup發送VRRP協議的數據包，當backup收不到master發來的VRRP數據包時，就會認爲master宕機了。此時就須要根據各個backup的優先級來決定誰成爲新的mater。  

Keepalived要有三個模塊，分別是core、check和vrrp。其中core模塊爲keepalived的核心，負責主進程的啓動、維護以及全局配置文件的加載和解析，check模塊負責健康檢查，vrrp模塊是來實現VRRP協議的。

18.3/18.4/18.5 用keepalived配置高可用集羣

準備兩臺機器120和123，120做爲master，123做爲backup  

兩臺機器都執行yum install -y keepalived  兩臺機器都安裝nginx，其中120上已經編譯安裝過nginx，123上須要yum安裝nginx: yum install -y nginx  設定vip爲100  

編輯120上keepalived配置文件#vim /etc/keepalived/keepalived.conf：

global_defs {
   notification_email {
     zhangjin@linux.com
   }
   notification_email_from root@linux.com
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL
}

vrrp_script chk_nginx {
    script "/usr/local/sbin/check_ng.sh"
    interval 3
}

vrrp_instance VI_1 {
    state MASTER
    interface ens33
    virtual_router_id 51
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass zhangjin>com
    }
    virtual_ipaddress {
        192.168.6.100
    }

    track_script {
        chk_nginx
    }

}

120編輯監控腳本:#vim /usr/local/sbin/check_ng.sh，內容以下：

#!/bin/bash
#時間變量，用於記錄日誌
d=`date --date today +%Y%m%d_%H:%M:%S`
#計算nginx進程數量
n=`ps -C nginx --no-heading|wc -l`
#若是進程爲0，則啓動nginx，而且再次檢測nginx進程數量，
#若是還爲0，說明nginx沒法啓動，此時須要關閉keepalived
if [ $n -eq "0" ]; then
        /etc/init.d/nginx start
        n2=`ps -C nginx --no-heading|wc -l`
        if [ $n2 -eq "0"  ]; then
                echo "$d nginx down,keepalived will stop" >> /var/log/check_ng.log
                systemctl stop keepalived
        fi
fi

保存後，再賦予x權限：

#chmod a+x /usr/local/sbin/check_ng.sh

而後啓動master上的keepalived（若是沒有啓動Nginx，它會幫咱們自動拉起來，並監聽VIP）。

systemctl start  keepalived

查看IP：

#ip add

再看Nginx服務是否已經啓動：

#ps aux | grep nginx

下面再繼續配置backup，編輯配置文件：#vim /etc/keepalived/keepalived.conf

global_defs {
   notification_email {
     zhangjin@linux.com
   }
   notification_email_from root@linux.com
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL
}

vrrp_script chk_nginx {
    script "/usr/local/sbin/check_ng.sh"
    interval 3
}

vrrp_instance VI_1 {
    state BACKUP
    interface ens33
    virtual_router_id 51
    priority 90
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass zhangjin>com
    }
    virtual_ipaddress {
        192.168.6.100
    }

    track_script {
        chk_nginx
    }

}

再來編輯監控腳本：

#vim /usr/local/sbin/check_ng.sh,內容以下：

#時間變量，用於記錄日誌
d=`date --date today +%Y%m%d_%H:%M:%S`
#計算nginx進程數量
n=`ps -C nginx --no-heading|wc -l`
#若是進程爲0，則啓動nginx，而且再次檢測nginx進程數量，
#若是還爲0，說明nginx沒法啓動，此時須要關閉keepalived
if [ $n -eq "0" ]; then
        systemctl start nginx
        n2=`ps -C nginx --no-heading|wc -l`
        if [ $n2 -eq "0"  ]; then
                echo "$d nginx down,keepalived will stop" >> /var/log/check_ng.log
                systemctl stop keepalived
        fi
fi

賦予x權限：

#chmod a+x /usr/local/sbin/check_ng.sh

下面來進行測試下：

測試一、關閉master(120)上的nginx服務

能夠看到，關閉了nginx服務後，一會又自動啓動起來了。查看日誌文件也是如此：

測試二、把master（120）上的keepalived服務關掉：

#systemctl stop keepalived

而後直接訪問VIP，來判斷VIP在哪裏：

能夠看到VIP已經到了slave（123）上，再把master(120)的keepalived服務開啓：

此時VIP又回到了master(120)上。

18.6 負載均衡集羣介紹

主流開源軟件LVS、keepalived、haproxy、nginx等  

其中LVS屬於4層（網絡OSI 7層模型），nginx屬於7層，haproxy既能夠認爲是4層，也能夠當作7層使用  

keepalived的負載均衡功能其實就是lvs  

lvs這種4層的負載均衡是能夠分發除80外的其餘端口通訊的，好比MySQL的，而nginx僅僅支持http，https，mail，haproxy也支持MySQL這種  

相比較來講，LVS這種4層的更穩定，能承受更多的請求，而nginx這種7層的更加靈活，能實現更多的個性化需求

18.7 LVS介紹

LVS是由國人章文嵩開發  

流行度不亞於apache的httpd，基於TCP/IP作的路由和轉發，穩定性和效率很高  LVS最新版本基於Linux內核2.6，有好多年不更新了  

LVS有三種常見的模式：NAT、DR、IP Tunnel  

LVS架構中有一個核心角色叫作分發器（Load balance），它用來分發用戶的請求，還有諸多處理用戶請求的服務器（Real Server，簡稱rs）

18.8 LVS調度算法

輪詢 Round-Robin  rr  

加權輪詢 Weight Round-Robin wrr  

最小鏈接 Least-Connection lc  

加權最小鏈接 Weight Least-Connection wlc  

基於局部性的最小鏈接 Locality-Based Least Connections lblc  

帶複製的基於局部性最小鏈接 Locality-Based Least Connections with Replication  lblcr  

目標地址散列調度 Destination Hashing dh  

源地址散列調度 Source Hashing  sh

18.9/18.10 LVS NAT模式搭建

一、準備工做：

三臺機器  

分發器，也叫調度器（簡寫爲dir）  

內網：6.120，外網：142.147（vmware僅主機模式）  

rs1  內網：6.123，設置網關爲6.120  

rs2  內網：6.124，設置網關爲6.120  

三臺機器上都執行執行  

systemctl stop firewalld; systemctl disable firewalld  

systemctl start  iptables-services; iptables -F; service iptables save 

 

在dir上安裝ipvsadm
yum install -y ipvsdam
在dir上編寫腳本vim /usr/local/sbin/lvs_nat.sh//內容以下:

#! /bin/bash
# director 服務器上開啓路由轉發功能
echo 1 > /proc/sys/net/ipv4/ip_forward
# 關閉icmp的重定向
echo 0 > /proc/sys/net/ipv4/conf/all/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/default/send_redirects
# 注意區分網卡名字，這裏的兩個網卡分別爲ens33和ens37
echo 0 > /proc/sys/net/ipv4/conf/ens33/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/ens37/send_redirects
# director 設置nat防火牆
iptables -t nat -F
iptables -t nat -X
iptables -t nat -A POSTROUTING -s 192.168.6.0/24  -j MASQUERADE
# director設置ipvsadm
IPVSADM='/usr/sbin/ipvsadm'
$IPVSADM -C
$IPVSADM -A -t 192.168.147.144:80 -s wlc -p 300
$IPVSADM -a -t 192.168.147.144:80 -r 192.168.6.123:80 -m -w 1
$IPVSADM -a -t 192.168.147.144:80 -r 192.168.6.124:80 -m -w 1