Nginx+Keepalived實現高可用站點

Keepalived是一個基於VRRP協議來實現的服務高可用方案，能夠利用其來避免IP單點故障，相似的工具還有heartbeat、 corosync、pacemaker。可是它通常不會單獨出現，而是與其它負載均衡技術（如lvs、haproxy、nginx）一塊兒工做來達到集羣的 高可用。

VRRP協議

VRRP全稱 Virtual Router Redundancy Protocol，即虛擬路由冗餘協議。 能夠認爲它是實現路由器高可用的容錯協議，即將N臺提供相同功能的路由器組成一個路由器組(Router Group)，這個組裏面有一個master和多個backup，但在外界看來就像一臺同樣，構成虛擬路由器，擁有一個虛擬IP（vip，也就是路由器所 在局域網內其餘機器的默認路由），佔有這個IP的master實際負責ARP相應和轉發IP數據包，組中的其它路由器做爲備份的角色處於待命狀態。 master會發組播消息，當backup在超時時間內收不到vrrp包時就認爲master宕掉了，這時就須要根據VRRP的優先級來選舉一個 backup當master，保證路由器的高可用。

在VRRP協議實現裏，虛擬路由器使用 00-00-5E-00-01-XX 做爲虛擬MAC地址，XX就是惟一的 VRID （Virtual Router IDentifier），這個地址同一時間只有一個物理路由器佔用。在虛擬路由器裏面的物理路由器組裏面經過多播IP地址 224.0.0.18 來定時發送通告消息。每一個Router都有一個 1-255 之間的優先級別，級別最高的（highest priority）將成爲主控（master）路由器。經過下降master的優先權可讓處於backup狀態的路由器搶佔（pro-empt）主路由 器的狀態，兩個backup優先級相同的IP地址較大者爲master，接管虛擬IP。

Keepalived + Nginx

安裝依賴環境

 sudo apt-get install  libssl-dev
 sudo apt-get install  openssl
 sudo apt-get install  libpopt-dev

安裝Keepalived

apt-get install keepalived

Keepalived.conf配置文件

keepalived 會讀取 /etc/keepalived/keepalived.conf

vi /etc/keppalived/keepalived.conf

MASTER配置文件信息

! Configuration File for keepalived
global_defs {
    notification_email {
        test@example.com
    }
    notification_email_from test@example.com
    smtp_server smtp.example.com
    smtp_connect_timeout 30
    router_id LVS_DEVEL
}
vrrp_script check_nginx {
    script "/etc/keepalived/check_nginx.sh" 
    interval 2 
    weight -5 
    fall 3  
    rise 2 
}
vrrp_instance VI_1 {
    state MASTER
    interface eth0
    mcast_src_ip 192.168.241.32
    virtual_router_id 51
    priority 101
    advert_int 2
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.241.200
    }
    track_script {
       check_nginx 
    }
}

BACKUP配置文件信息

#只須要改變將主機配置中的3項，以下：
state MASTER -> state BACKUP，
priority 101 -> priority 100，
mcast_src_ip 192.168.241.132 -> mcast_src_ip 192.168.241.133

check_nginx.sh腳本文件

#!/bin/bash
counter=$(ps -C nginx --no-heading|wc -l)
if [ "${counter}" = "0" ] then
    /usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf
    sleep 2
    counter=$(ps -C nginx --no-heading|wc -l)
    if [ "${counter}" = "0" ] then
        killall keepalived
    fi
fi

注意：腳本須要添加設置權限，須要執行 chmod +x check_nginx.sh

啓動Keepalived

service keepalived  restart/stop/start    重啓/中止/啓動

測試Keepalived

務都起來以後，在MASTER和BACKUP上分別指向以下命令：

ip  a

或指定網卡

ip  a|grep ens33 

備註：就會看到虛擬ip在MASTER上綁定了，而後停掉主機的nginx（# killall nginx），若是nginx沒有故障，keepalived就會嘗試從新啓動nginx服務。若是nginx發生故障，沒法從新啓動，那麼就會自動切換到備機上，若是在用192.168.0.222訪問的話，就會訪問到BACKUP的頁面（用# ip a  命令查看，虛擬ip綁定在BACKUP上）

配置選項說明

global_defs

• notification_email ： keepalived在發生諸如切換操做時須要發送email通知地址，後面的 smtp_server 相比也都知道是郵件服務器地址。也能夠經過其它方式報警，畢竟郵件不是實時通知的。
• router_id ： 機器標識，一般可設爲hostname。故障發生時，郵件通知會用到

vrrp_instance

• state ： 指定instance(Initial)的初始狀態，就是說在配置好後，這臺服務器的初始狀態就是這裏指定的，但這裏指定的不算，仍是得要經過競選經過優 先級來肯定。若是這裏設置爲MASTER，但如若他的優先級不及另一臺，那麼這臺在發送通告時，會發送本身的優先級，另一臺發現優先級不如本身的高， 那麼他會就回搶佔爲MASTER
• interface ： 實例綁定的網卡，由於在配置虛擬IP的時候必須是在已有的網卡上添加的
• mcast_src_ip ： 發送多播數據包時的源IP地址，這裏注意了，這裏實際上就是在那個地址上發送VRRP通告，這個很是重要，必定要選擇穩定的網卡端口來發送，這裏至關於 heartbeat的心跳端口，若是沒有設置那麼就用默認的綁定的網卡的IP，也就是interface指定的IP地址
• virtual_router_id ： 這裏設置VRID，這裏很是重要，相同的VRID爲一個組，他將決定多播的MAC地址
• priority ： 設置本節點的優先級，優先級高的爲master
• advert_int ： 檢查間隔，默認爲1秒。這就是VRRP的定時器，MASTER每隔這樣一個時間間隔，就會發送一個advertisement報文以通知組內其餘路由器本身工做正常
• authentication ： 定義認證方式和密碼，主從必須同樣
• virtual_ipaddress ： 這裏設置的就是VIP，也就是虛擬IP地址，他隨着state的變化而增長刪除，當state爲master的時候就添加，當state爲backup的時候刪除，這裏主要是有優先級來決定的，和state設置的值沒有多大關係，這裏能夠設置多個IP地址
• track_script ： 引用VRRP腳本，即在 vrrp_script 部分指定的名字。按期運行它們來改變優先級，並最終引起主備切換。

vrrp_script
告訴 keepalived 在什麼狀況下切換，因此尤其重要。能夠有多個 vrrp_script

• script ： 本身寫的檢測腳本。也能夠是一行命令如killall -0 nginx
• interval 2 ： 每2s檢測一次
• weight -5 ： 檢測失敗（腳本返回非0）則優先級 -5
• fall 2 ： 檢測連續 2 次失敗纔算肯定是真失敗。會用weight減小優先級（1-255之間）
• rise 1 ： 檢測 1 次成功就算成功。但不修改優先級

這裏要提示一下script通常有2種寫法：

1. 經過腳本執行的返回結果，改變優先級，keepalived繼續發送通告消息，backup比較優先級再決定
2. 腳本里面檢測到異常，直接關閉keepalived進程，backup機器接收不到advertisement會搶佔IP

上文 vrrp_script 配置部分，killall -0 nginx屬於第1種狀況，/etc/keepalived/check_nginx.sh屬於第2種狀況（腳本中關閉keepalived）。我的更傾向於經過shell腳本判斷，但有異常時exit 1，正常退出exit 0，而後keepalived根據動態調整的 vrrp_instance 優先級選舉決定是否搶佔VIP：

• 若是腳本執行結果爲0，而且weight配置的值大於0，則優先級相應的增長
• 若是腳本執行結果非0，而且weight配置的值小於0，則優先級相應的減小

其餘狀況，本來配置的優先級不變，即配置文件中priority對應的值。

提示：

1. 優先級不會不斷的提升或者下降
2. 能夠編寫多個檢測腳本併爲每一個檢測腳本設置不一樣的weight（在配置中列出就行）
3. 無論提升優先級仍是下降優先級，最終優先級的範圍是在[1,254]，不會出現優先級小於等於0或者優先級大於等於255的狀況
4. 在MASTER節點的 vrrp_instance 中 配置 nopreempt ，當它異常恢復後，即便它 prio 更高也不會搶佔，這樣能夠避免正常狀況下作無謂的切換

以上能夠作到利用腳本檢測業務進程的狀態，並動態調整優先級從而實現主備切換。

配置結束

在默認的keepalive.conf裏面還有 virtual_server,real_server 這樣的配置，咱們這用不到，它是爲lvs準備的。 notify 能夠定義在切換成MASTER或BACKUP時執行的腳本，若有需求請自行google。