Keepalived + nginx實現高可用性和負載均衡

在前面的一篇中講到了Heartbeat做爲高可用服務架構的解決方案，今天有試驗了一種全新的解決方案，即採用Keepalived來實現這個功能。

Keepalived 是一種高性能的服務器高可用或熱備解決方案，Keepalived能夠用來防止服務器單點故障(單點故障是指一旦某一點出現故障就會致使整個系統架構的不可用)的發生，經過配合Nginx能夠實現web前端服務的高可用。

Keepalived實現的基礎是VRRP協議，Keepalived就是巧用VRRP協議來實現高可用性(HA)的.

VRRP(Virtual Router Redundancy Protocol)協議是用於實現路由器冗餘的協議，VRRP協議將兩臺或多臺路由器設備虛擬成一個設備，對外提供虛擬路由器IP(一個或多個)，而在路由器組內部，若是實際擁有這個對外IP的路由器若是工做正常的話就是MASTER，或者是經過算法選舉產生，MASTER實現針對虛擬路由器IP的各類網絡功能，如ARP請求，ICMP，以及數據的轉發等；其餘設備不擁有該IP，狀態是BACKUP，除了接收MASTER的VRRP狀態通告信息外，不執行對外的網絡功能。當主機失效時，BACKUP將接管原先MASTER的網絡功能。

VRRP協議使用多播數據來傳輸VRRP數據，VRRP數據使用特殊的虛擬源MAC地址發送數據而不是自身網卡的MAC地址，VRRP運行時只有MASTER路由器定時發送VRRP通告信息，表示MASTER工做正常以及虛擬路由器IP(組)，BACKUP只接收VRRP數據，不發送數據，若是必定時間內沒有接收到MASTER的通告信息，各BACKUP將宣告本身成爲MASTER，發送通告信息，從新進行MASTER選舉狀態。

1. 安裝Keeplived依賴

安裝keepalived以前，也要安裝一些依賴庫

安裝 openssl

yum install openssl*

安裝popt

yum install popt*

安裝ipvsadm

yum isntall ipvsadm

安裝libnl-dev

yum install libnl-dev*

2. 安裝Keepalived

keepalived安裝包地址：

http://www.keepalived.org/software/keepalived-1.2.7.tar.gz

下載解壓後編譯配置

./configure --prefix=/usr/local/keepalived

編譯配置須要確保一下幾項爲Yes狀態：

Use IPVS Framework : Yes IPVS sync daemon support : Yes IPVS use libnl : Yes Use VRRP Framework : Yes

而後就能夠編譯安裝了：

make && make install

由於沒有使用keepalived的默認路徑安裝（默認是/usr/local）,安裝完成以後，須要作一些工做

cp /usr/local/keepalived/sbin/keepalived /usr/sbin/
#複製keepalived啓動文件到默認路徑，也能夠經過設置環境變量的path實現 cp /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/ #複製服務啓動腳本到，以即可以經過service控制keepalived服務 cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/ #複製keepalived服務腳本到默認的地址，也經過修改init.d/keepalived文件中的相應配置實現 mkdir -p /etc/etc/keepalived/ cp /usr/local/keepalived/etc/keepalived/keepalived.conf /etc/keepalived/ vi /etc/keepalived/keepalived.conf #複製默認配置文件到默認路徑，其實也能夠在/etc/init.d/keepalived中設置路徑 chkconfig keepalived on #開機啓動服務 

3. 配置Keepalived

接下來就是配置了，很簡單，直接上配置文件

先是主服務器：

global_defs
{ notification_email #通知email，根據實際狀況配置 { admin@example.com } notification_email_from admin@example.com smtp_server 127.0.0.1 stmp_connect_timeout 30 router_id node1 #節點名標識，主要用於通知中 } vrrp_instance VI_NODE { state MASTER #配置爲主服務器 interface eth0 #通信網卡 virtual_router_id 100 #路由標識 priority 200 #優先級，0-254 advert_int 5 #通知間隔，實際部署時能夠設置小一點，減小延時 authentication { auth_type PASS auth_pass 123456 #驗證密碼，用於通信主機間驗證 } virtual_ipaddress { 192.168.1.206 #虛擬ip，能夠定義多個 } } 

接下是從服務器設置：

global_defs { notification_email { admin@example.com } notification_email_from admin@example.com smtp_server 127.0.0.1 stmp_connect_timeout 30 router_id node2 } vrrp_instance VI_NODE { state BACKUP #與主服務器對應 interface eth0 #從服務器的通訊網卡 virtual_router_id 100 #路由標識，和主服務器相同 priority 100 #優先級，小於主服務器便可 advert_int 5 #這裏是接受通知間隔，與主服務器要設置相同 authentication { auth_type PASS auth_pass 123456 #驗證密碼，與主服務器相同 } virtual_ipaddress { 192.168.1.206 #虛擬IP，也要和主服務器相同 } } 

上面的設置是最基礎的設置，實現的功能是若是主服務器的Keepalived中止服務（通常狀況下服務器宕機），則將虛擬IP切換至從服務器，主服務器恢復後重新切換回主服務器。

可是不少狀況下咱們面臨的處境是nginx掛掉了，而這個時候Keepalived就不能發揮做用，這時候就須要咱們來改良下Keepalived了。經過向Keepalived添加一個自定義腳原本監控neginx的運行狀態，若是nginx進程結束，則kill Keepalived進程，以此來達到主從服務器的切換功能。

咱們在修改上面配置的主服務器的配置文件，在中間添加腳本實現

global_defs { notification_email { admin@example.com } notification_email_from admin@example.com smtp_server 127.0.0.1 smtp_connect_timeout 30 router_id nginx_master } vrrp_script chk_http_port { script "/usr/local/keepalived/nginx.sh" #在這裏添加腳本連接 interval 3 #腳本執行間隔 weight 2 #腳本結果致使的優先級變動 } vrrp_instance VI_NODE { state MASTER interface eth0 virtual_router_id 100 priority 200 advert_int 5 authentication { auth_type PASS auth_pass 123456 } track_script { chk_http_port #添加腳本執行 } virtual_ipaddress { 192.168.1.206 } } 

具體的配置能夠參考另外一篇文章Keepalived配置詳解

若是咱們使用了LVS+Keepalived集成，那麼keepalived能夠代替ipvsadm來配置LVS，能夠方便的經過配置就能夠搞定，這在另外一篇文章Keepalived+LVS配置詳解

修改完配置文件咱們寫咱們的上面配置的nginx.sh，固然咱們假定Nginx已經安裝完成

#!/bin/bash A=`ps -C nginx --no-header |wc -l` if [ $A -eq 0 ];then killall keepalived fi 

上面的腳本簡單的查看nginx進程是否存在，不存在就kill keepalived進程。

接下來咱們對上面的哦腳本修改一下，當腳本檢測到nginx沒有運行的時候會嘗試去啓動nginx以此，若是失敗則停掉keepalived進程

#!/bin/bash A=`ps -C nginx –no-header |wc -l` if [ $A -eq 0 ];then /usr/local/nginx/sbin/nginx #nginx命令的路徑 sleep 3 if [ `ps -C nginx --no-header |wc -l` -eq 0 ];then killall keepalived fi fi 

把腳本保存到上面配置的具體路徑（我這裏是/usr/local/keepalived）,而後很重要的一步是修改腳本的執行權限

chmod +x nginx.sh

4. 運行Keepalived

配置完成後就能夠運行看下效果了,分別在主從服務器上啓動nginx和keepalived

service keepalived start

啓動以後經過·ip a·命令查看主服務器的網絡信息，能夠看到在eth0網卡下生成了192.168.1.206這個虛擬ip，並可經過這個ip訪問到nginx

而後咱們關閉nginx的進程（若是配置了一次嘗試重啓那要注意下），而後咱們能夠經過ps -e查看keepalived進程是否關閉，正常狀況下查看網絡信息中，能夠看到eth0網卡下的虛擬ip已經解除，而後在從服務器的網絡信息中能夠看到從服務器的eth0網卡綁定了虛擬ip，經過這個ip就訪問到了從服務器的nginx去了，這是咱們從新啓動主服務器的nginx和keepalieved，咱們能夠發現虛擬ip就綁回到了主服務器。

這樣就實現了基本雙擊主從熱備功能了。

這裏注意下防火牆的問題，就是這問題困擾了我好久。找了一些資料纔將問題解決

由於Keepalived之間是經過組播來通知對方的是否存活，以及發送優先級的，而且經過組播來選舉MASTER的，而224.0.0.18就是經常使用的組播地址，防火牆開啓容許這個組播地址通訊就能夠了：

1.若是用的是默認防火牆,只須要添加：

iptables -I RH-Firewall-1-INPUT -d 224.0.0.18 -j ACCEPT

2.若是是本身用腳本設置的防火牆，須要添加以下規則

iptables -A OUTPUT -o eth0 -d 224.0.0.18 -j ACCEPT iptables -A OUTPUT -o eth0 -s 224.0.0.18 -j ACCEPT iptables -A INPUT -i eth0 -d 224.0.0.18 -j ACCEPT iptables -A INPUT -i eth0 -s 224.0.0.18 -j ACCEPT

5. 總結

• keepalived經過虛擬路由實現雙機熱備，相比其餘方案具備必定的優越性
• 由於是固定主從熱備，該方案比較適合兩個互備服務器性能有差別的狀況
• Keepalived一樣能夠實現雙主互備，經過設置互爲主備，而後經過DNS負載均衡到不一樣vip就能夠實現