在生產應用中，某臺「Nginx+PHP+MySQL」接口數據服務器，扮演的角色十分重要，若是服務器硬件或Nginx、MySQL發生故障，而短期內沒法恢復，後果將很是嚴重。爲了不單點故障，我設計了此套方案，編寫了failover.sh腳本，實現了雙機互備、全自動切換，故障轉移時間只需幾十秒。 php
二、解釋：
(1)、假設外網域名blog.s135.com解析到外網虛擬IP 72.249.146.214上，內網hosts設置db10對應內網虛擬IP 192.168.146.214
(2)、默認狀況下，由主機綁定內、外網虛擬IP，備機做爲備份，當主機的MySQL、Nginx或服務器出現故障沒法訪問時，備機會自動接管內、外網虛擬IP。兩臺服務器都啓動負責監控、自動切換虛擬IP的守護進程/usr/bin/nohup /bin/sh /usr/local/webserver/failover/failover.sh 2>&1 > /dev/null &
(3)、主機和備機上的MySQL服務器互爲主從，互相同步。在主機處於活動狀態（即由主機綁定虛擬IP）時，讀寫主機的MySQL，寫到主機的數據會同步到備機；在備機處於活動狀態時，讀寫備機的MySQL，寫到備機的數據會同步到主機（若是主機上的MySQL死掉暫時沒法同步，主機上的MySQL恢復後，數據會自動從備機上同步過來，反之亦然）。
(4)、主機處於活動狀態時，每20秒會把/data0/htdocs/（網頁、程序、圖片存放目錄）、/usr/local/webserver/php/etc/（php.ini等配置文件目錄）、/usr/local/webserver/nginx/conf/（Nginx配置文件目錄）三個目錄下的文件經過rsync推送到備機服務器上的對應目錄（增量推送，兩臺服務器上同樣的文件不會重複推送），反之若是備機處於活動狀態時，每20秒會嘗試把文件推送到主機。rsync的配置文件見兩臺服務器的/etc/rsyncd.conf，rsync守護進程的啓動命令爲rsync --daemon
三、自動切換流程
(1)、主機默認綁定內、外網虛擬IP，當主機的MySQL、Nginx沒法訪問或服務器宕機，主機上的failover.sh守護進程會自動摘除本身綁定的內、外網虛擬IP（若是主機上的failover.sh死掉，沒法摘除本身綁定的虛擬IP也不要緊），備機上的failover.sh守護進程會自動接管備機原來綁定的內、外網虛擬IP，併發送ARPing包給內、外網網關更新MAC，強行接管。
(2)、備機綁定虛擬IP後，會發送ARPing包給內、外網網關，通知網關更新虛擬IP的MAC地址爲備機的MAC地址，從而保證了切換後可以經過虛擬IP及時訪問到備機。
(3)、若是主機的MySQL、Nginx啓動起來，所有恢復正常訪問，主機上的failover.sh守護進程會檢測主機上的MySQL數據是否已經徹底從備機上同步過來。若是同步延遲時間爲0，主機會自動接管內、外網虛擬IP，併發送ARPing包給內、外網網關，而備機也會自動摘除內、外網虛擬IP。
(4)、整個切換流程均由failover.sh自動完成，無需人工處理。
四、注意事項（很重要）：
(1)、crontab裏的文件沒有作自動同步，若是修改，須要手工在兩臺服務器上都作修改。
(2)、/data0/htdocs/目錄內任何用ln -s創建的軟鏈接，rsync不會自動同步，若是在一臺服務器上建了軟鏈接，須要手工在另一臺服務器上也建相同的軟鏈接。
(3)、若是要刪除/data0/htdocs/目錄內的某些文件或目錄，須要先刪除處於活動狀態（即綁定了虛擬IP）服務器上的文件或目錄，再刪除處於備用狀態服務器上的文件或目錄。
(4)、除了/data0/htdocs/（網頁、程序、圖片存放目錄）、/usr/local/webserver/php/etc/（php.ini等配置文件目錄）、/usr/local/webserver/nginx/conf/（Nginx配置文件目錄）三個目錄以外的其餘配置修改，須要在兩臺服務器上都作修改。
2、配置文檔與腳本：
一、主機、備機兩臺服務器的rsync配置（配置相同）
(1)、rsync配置文件 mysql
| 07 |
pid file = /var/run/rsyncd.pid |
| 08 |
lock file = /var/run/rsync.lock |
| 09 |
log file = /var/log/rsyncd.log |
| 15 |
hosts allow = 192.168.146.0/24 |
| 16 |
hosts deny = 0.0.0.0/32 |
| 19 |
path = /usr/local/webserver/php/etc/ |
| 22 |
hosts allow = 192.168.146.0/24 |
| 23 |
hosts deny = 0.0.0.0/32 |
| 26 |
path = /usr/local/webserver/nginx/conf/ |
| 29 |
hosts allow = 192.168.146.0/24 |
| 30 |
hosts deny = 0.0.0.0/32 |
(2)、啓動rsync守護進程
| 1 |
/usr/bin/rsync --daemon |
二、兩臺MySQL互爲主從的配置
這裏就不詳細寫出互爲主從的配置過程了，若是不懂的朋友能夠在Google上搜一下。有一點須要指出，my.cnf配置文件中請加上skip-name-resolve參數，使用IP來進行MySQL賬號驗證。
三、主機、備機兩臺服務器負載監控、虛擬IP自動切換的failover.sh守護進程
(1)、啓動failover.sh守護進程（爲了開機可以自動運行，請將如下語句添加到/etc/rc.local文件中）： nginx
| 1 |
/usr/bin/nohup /bin/sh /usr/local/webserver/failover/failover.sh 2>&1 > /dev/null & |
(2)、中止failover.sh守護進程： web
| 1 |
ps -ef | grep failover.sh |
會顯示如下信息：
root 15428 1 0 Nov17 ? 00:00:03 /bin/sh /usr/local/webserver/failover/failover.sh
root 20123 6878 0 16:16 pts/2 00:00:00 grep failover.sh
而後殺死failover.sh的進程： sql
(3)、failover.sh代碼內容（請注意其中的type設置，主機設爲master，備機設爲slave）： 數據庫
| 003 |
date=$(date -d "today" +"%Y-%m-%d %H:%M:%S") |
| 005 |
#---------------配置信息(開始)--------------- |
| 006 |
#類型：主機設爲master，備機設爲slave |
| 010 |
logfile="/var/log/failover.log" |
| 012 |
#MySQL可執行文件地址，例如/usr/local/mysql/bin/mysql；MySQL用戶名；密碼；端口 |
| 013 |
mysql_bin="/usr/local/webserver/mysql/bin/mysql" |
| 014 |
mysql_username="root" |
| 015 |
mysql_password="123456" |
| 019 |
gateway_eth0="192.168.146.1" |
| 022 |
rip_eth0_master="192.168.146.213" |
| 025 |
rip_eth0_slave="192.168.146.215" |
| 028 |
vip_eth0_share="192.168.113.214" |
| 032 |
gateway_eth1="72.249.146.193" |
| 035 |
rip_eth1_master="72.249.146.213" |
| 038 |
rip_eth1_slave="72.249.146.215" |
| 041 |
vip_eth1_share="72.249.146.214" |
| 042 |
#---------------配置信息(結束)--------------- |
| 047 |
/sbin/ifconfig eth0:vip ${vip_eth0_share} broadcast ${vip_eth0_share} netmask 255.255.255.255 up |
| 048 |
/sbin/route add -host ${vip_eth0_share} dev eth0:vip |
| 049 |
/sbin/ifconfig eth1:vip ${vip_eth1_share} broadcast ${vip_eth1_share} netmask 255.255.255.255 up |
| 050 |
/sbin/route add -host ${vip_eth1_share} dev eth1:vip |
| 051 |
/usr/local/webserver/php/sbin/php-fpm reload |
| 052 |
kill -USR1 `cat /usr/local/webserver/nginx/logs/nginx.pid` |
| 053 |
/sbin/service crond start |
| 057 |
function_remove_vip() |
| 059 |
/sbin/ifconfig eth0:vip ${vip_eth0_share} broadcast ${vip_eth0_share} netmask 255.255.255.255 down |
| 060 |
/sbin/ifconfig eth1:vip ${vip_eth1_share} broadcast ${vip_eth1_share} netmask 255.255.255.255 down |
| 061 |
/sbin/service crond stop |
| 065 |
function_rsync_master_to_slave() |
| 067 |
/usr/bin/rsync -zrtuog /data0/htdocs/ ${rip_eth0_slave}::data0_htdocs/ > /dev/null 2>&1 |
| 068 |
/usr/bin/rsync -zrtuog /usr/local/webserver/php/etc/ ${rip_eth0_slave}::php_etc/ > /dev/null 2>&1 |
| 069 |
/usr/bin/rsync -zrtuog /usr/local/webserver/nginx/conf/ ${rip_eth0_slave}::nginx_conf/ > /dev/null 2>&1 |
| 073 |
function_rsync_slave_to_master() |
| 075 |
/usr/bin/rsync -zrtuog /data0/htdocs/ ${rip_eth0_master}::data0_htdocs/ > /dev/null 2>&1 |
| 076 |
/usr/bin/rsync -zrtuog /usr/local/webserver/php/etc/ ${rip_eth0_master}::php_etc/ > /dev/null 2>&1 |
| 077 |
/usr/bin/rsync -zrtuog /usr/local/webserver/nginx/conf/ ${rip_eth0_master}::nginx_conf/ > /dev/null 2>&1 |
| 081 |
function_vip_arping() |
| 083 |
/sbin/arping -I eth0 -c 3 -s ${vip_eth0_share} ${gateway_eth0} > /dev/null 2>&1 |
| 084 |
/sbin/arping -I eth1 -c 3 -s ${vip_eth1_share} ${gateway_eth1} > /dev/null 2>&1 |
| 090 |
if(curl -m 30 -G http://${vip_eth1_share}/ > /dev/null 2>&1) && (${mysql_bin} -u"${mysql_username}" -p"${mysql_password}" -P"${mysql_port}" -h"${vip_eth0_share}" -e"show slave status\G" > /dev/null 2>&1) |
| 093 |
eth0_active_server=$(${mysql_bin} -u"${mysql_username}" -p"${mysql_password}" -P"${mysql_port}" -h"${vip_eth0_share}"-e"show slave status\G" | grep "Master_Host" | awk -F ': ' '{printf $2}') |
| 095 |
#若是內網VIP=主機內網IP（主機MySQL中的Master_Host顯示的是備機的域名或IP），且本機爲主機 |
| 096 |
if [ "${eth0_active_server}" = "${rip_eth0_slave}" ] && [ "${type}" = "master" ] |
| 098 |
function_rsync_master_to_slave |
| 100 |
#若是內網VIP=備機內網IP（備機MySQL中的Master_Host顯示的是主機的域名或IP） |
| 101 |
elif [ "${eth0_active_server}" = "${rip_eth0_master}" ] |
| 103 |
if(curl -m 30 -G http://${rip_eth1_master}/ > /dev/null 2>&1) && (${mysql_bin} -u"${mysql_username}" -p"${mysql_password}" -P"${mysql_port}" -h"${rip_eth0_master}" -e"show slave status\G" | grep "Seconds_Behind_Master: 0" > /dev/null 2>&1) |
| 105 |
#若是主機可以訪問，數據庫同步無延遲，且本機就是主機，那麼由本機綁定虛擬IP |
| 106 |
if [ "${type}" = "master" ] |
| 111 |
echo "${date} 主機已綁定虛擬IP!(Type:1)" >> ${logfile} |
| 115 |
echo "${date} 備機已去除虛擬IP!(Type:2)" >> ${logfile} |
| 118 |
if [ "${type}" = "slave" ] |
| 121 |
function_rsync_slave_to_master |
| 128 |
if(curl -m 30 -G http://${rip_eth1_master}/ > /dev/null 2>&1) && (${mysql_bin} -u"${mysql_username}" -p"${mysql_password}" -P"${mysql_port}" -h"${rip_eth0_master}" -e"show slave status\G" > /dev/null 2>&1) |
| 130 |
#若是主機可以訪問，且本機就是主機，那麼由本機綁定虛擬IP |
| 131 |
if [ "${type}" = "master" ] |
| 135 |
echo "${date} 主機已綁定虛擬IP!(Type:3)" >> ${logfile} |
| 138 |
echo "${date} 備機已去除虛擬IP!(Type:4)" >> ${logfile} |
| 140 |
elif (curl -m 30 -G http://${rip_eth1_slave}/ > /dev/null 2>&1) && (${mysql_bin} -u"${mysql_username}" -p"${mysql_password}" -P"${mysql_port}" -h"${rip_eth0_slave}" -e"show slave status\G" > /dev/null 2>&1) |
| 142 |
#若是主機不能訪問而備機可以訪問，且本機就是備機，那麼由備機綁定虛擬IP |
| 143 |
if [ "${type}" = "slave" ] |
| 147 |
echo "${date} 備機已綁定虛擬IP!(Type:5)" >> ${logfile} |
| 150 |
echo "${date} 主機已去除虛擬IP!(Type:6)" >> ${logfile} |
| 153 |
echo "${date} 主機、備機所有沒法訪問!(Type:7)" >> ${logfile} |
| 156 |
#每次循環暫停20秒(即間隔20秒檢測一次) |
