用Heartbeat實現web服務器高可用

heartbeat概述:

   Heartbeat 項目是 Linux-HA 工程的一個組成部分，它實現了一個高可用集羣系統。心跳服務和集羣通訊是高可用集羣的兩個關鍵組件，在 Heartbeat 項目裏，由 heartbeat 模塊實現了這兩個功能。

端口號：694

1）heartbeat的工做原理：

heartbeat最核心的包括兩個。部分，心跳監測部分和資源接管部分，心跳監測能夠經過網絡鏈路和串口進行，並且支持冗餘鏈路，它們之間相互發送報文來告訴對方本身當前的狀態，若是在指定的時間內未收到對方發送的報文，那就認爲對方失效，這時需啓動資源接管模塊來接管運行在對方主機上的資源或者服務

2）高可用集羣

高可用集羣是指一組經過硬件和軟件鏈接起來的獨立計算機，它們在用戶面前表現爲一個單一系統，在這樣的一組計算機系統內部的一個或者多個節點中止工做，服務會從故障節點切換到正常工做的節點上運行，不會引發服務中斷。從這個定義能夠看出，集羣必須檢測節點和服務什麼時候失效，什麼時候恢復爲可用。這個任務一般由一組被稱爲「心跳」的代碼完成。在Linux-HA裏這個功能由一個叫作heartbeat的程序完成

3）Heartbeat-3.X版本之後被分爲了4個模塊：

1）ClusterLabs-resource-agents-v3.9.2-0-ge261943.tar.gz #集羣實驗資源代理

2）Heartbeat-3-0-7e3a82377fa8.tar.bz2 # 心跳主程序包

3）pacemaker-1.1.9-1512.el6.src.rpm # 起搏器

4）Reusable-Cluster-Components-glue--glue-1.0.9.tar.bz2 #可重複使用的羣集組件

 

一：實驗拓撲

 

二：實驗目標

1：用heartbeat實現web服務器高可用

三：實驗環境

Note1：WEB主 xuegod63.cn 192.168.1.63

Note2：WEB備 xuegod64.cn 192.168.1.64

NFS  xuegod62.cn 192

準備工做：保持兩臺節點主機一致  

1. 修改主機名，永久生效

# vim /etc/sysconfig/network

HOSTNAME=xuegod63.cn

2. 解析

# vim /etc/hosts

192.168.1.63 xuegod63.cn

192.168.1.64 xuegod64.cn

3：時間一致

[root@xuegod63 ~]# date

2016年 10月 30日 星期日 15:18:47 CST

4. 關防火牆,關掉selinux

[root@xuegod63 ~]# service iptables stop

 

四：實驗代碼

--------------------------------------------------------------------------------------------------------------

一、配置xuegod62爲NFS服務器，提供存儲資源

1）安裝NFS服務

[root@xuegod62 ~]# rpm -ivh /mnt/Packages/nfs-utils-1.2.3-39.el6.x86_64.rpm

2）編寫測試網頁並共享

[root@xuegod62 ~]# mkdir /wwwdir

[root@xuegod62 ~]# echo "heartbeat http ha" > /wwwdir/index.html

[root@xuegod62 ~]#vim  /etc/exports  #編寫共享文件及網段

/wwwdir 192.168.1.0/24(rw) :

3）添加共享目錄權限： 

[root@xuegod62 ~]# chmod 777 -R /wwwdir/

4）開啓nfs服務

[root@xuegod62 ~]# service nfs restart

[root@xuegod62 ~]# chkconfig nfs on

二、xuegod63測試nfs 存儲掛載並安裝httpd web服務器： 

1）安裝阿帕奇服務並測試NFS文件有沒有共享成功

[root@xuegod63 ~]# yum install httpd -y

[root@xuegod63 ~]# showmount -e 192.168.1.62  #查看NFS共享文件

Export list for 192.168.1.62:

/wwwdir 192.168.1.0/24

2）掛載文件夾到本地網站根目錄

[root@xuegod63 ~]# mount -t nfs 192.168.1.62:/wwwdir /var/www/html/  

[root@xuegod63 ~]#df -h

[root@xuegod63 ~]# service httpd restart

3）測試： 

[root@xuegod63 ~]# yum install elinks -y

[root@xuegod63 ~]# elinks --dump 192.168.1.63

heartdeat http ha

httpd//:192.168.1.63

4）卸載資源：後期這些資源經過heartbeat直接加載

[root@xuegod63 ~]# umount /var/www/html/

[root@xuegod63 ~]# service httpd stop

[root@xuegod63 ~]# chkconfig httpd off #後期依靠hartbeat啓動

三、xuegod64測試nfs 存儲掛載並安裝httpd web服務器： 

1）安裝阿帕奇服務並測試NFS文件有沒有共享成功

[root@xuegod64 ~]# yum install httpd -y

[root@xuegod64 ~]# showmount -e 192.168.1.62

Export list for 192.168.1.62:

/wwwdir 192.168.1.0/24

2）掛載文件夾到本地網站根目錄

[root@xuegod64 ~]# mount -t nfs 192.168.1.62:/wwwdir /var/www/html/

[root@xuegod64 ~]# service httpd restart

3）測試：

[root@xuegod64 ~]# yum install elinks -y

[root@xuegod64 ~]# elinks --dump 192.168.1.64

heartdeat http ha

4）卸載資源：後期這些資源經過heartbeat直接加載

[root@xuegod64 ~]# umount /var/www/html/

[root@xuegod64 ~]# service httpd stop

[root@xuegod64 ~]# chkconfig httpd off

四、xuegod63安裝heartbeat

1）配置好yum源：

[root@xuegod63 ~]# cat /etc/yum.repos.d/rhel-source.repo

[rhel-source]

name=Red Hat Enterprise Linux $releasever - $basearch - Source

baseurl=file:///mnt/

enabled=1

gpgcheck=0

gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release

#增長如下紅色內容

[rhel-ha]

name=Red ha

baseurl=file:///mnt/HighAvailability

enabled=1

gpgcheck=0

gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release 

[root@xuegod63 ~]# yum clean all

[root@xuegod63 ~]#yum list

#說明，若是不配置這個baseurl=file:///mnt/HighAvailabilit ，則沒法使用yum安裝cluster-glue和resource-agents 。 

centos 6.2或5的源裏 cluster-glue、resource-agents、pacemaker 都有，就是沒有heartbeat。 幸虧heartbeat的source裏提供了.spec 能夠用rpmbuild來生成rpm包。

2）安裝heartbeat

[root@xuegod63 ~]# tar -jxvf /root/Heartbeat-3-0-958e11be8686.tar.bz2

[root@xuegod63 ~]# cd Heartbeat-3-0-958e11be8686

[root@xuegod63 Heartbeat-3-0-958e11be8686]# rpmbuild -ba heartbeat-fedora.spec

error: File /root/rpmbuild/SOURCES/heartbeat.tar.bz2: #錯誤提示。有那個文件或目錄，可是會建立好目錄

[root@xuegod63 ~]# tar -jxvf /root/Heartbeat-3-0-958e11be8686.tar.bz2 -C /root/rpmbuild/SOURCES/

[root@xuegod63 ~]# cd /root/rpmbuild/SOURCES/

[root@xuegod63 SOURCES]# mv Heartbeat-3-0-958e11be8686 heartbeat #修更名稱

[root@xuegod63 SOURCES]# tar -jcvf heartbeat.tar.bz2  heartbeat # 打包，生成的heartbeat.tar.bz2軟件包，若是直接使用源碼包，生成rpm包時，會報錯。

（1）開始生成RPM包

參數：rpmbuild參數 （-bb 只編譯二進制rpm包 -bs 只編譯源碼srpm包 -ba 同時編譯二進制和源碼srpm包）

[root@xuegod64 ~]# yum install ncurses-devel openssl-devel gettext bison flex mailx cluster-glue-libs-devel docbook-dtds docbook-style-xsl libtool-ltdl-devel -y

[root@xuegod63 SOURCES]# cd heartbeat

[root@xuegod63 heartbeat]# rpmbuild -ba heartbeat-fedora.spec 

3）：安裝軟件包

[root@xuegod63 ~]# cd /root/rpmbuild/RPMS/x86_64/

[root@xuegod63 x86_64]# yum install -y cluster-glue resource-agents

[root@xuegod63 x86_64]# rpm -ivh heartbeat-libs-3.0.6-1.el6.x86_64.rpm

[root@xuegod63 x86_64]# rpm -ivh heartbeat-3.0.6-1.el6.x86_64.rpm

五、在xuegod64上安裝：heartbeat 

1）把軟件包和yum配置文件拷貝到xuegod64上：

[root@xuegod63 ~]#cd /root/rpmbuild/RPMS/x86_64/

[root@xuegod63 x86_64]# scp -r ./* 192.168.1.64:/root/

[root@xuegod63 x86_64]#scp /etc/yum.repos.d/rhel-source.repo 192.168.1.64:/etc/yum.repos.d/

[root@xuegod64 ~]#cd /root/rpmbuild/RPMS/x86_64/  

[root@xuegod64 x86_64]#yum install ncurses-devel openssl-devel gettext bison flex mailx cluster-glue-libs-devel docbook-dtds docbook-style-xsl -y

[root@xuegod64 x86_64]# rpm -ivh heartbeat-libs-3.0.5-1.el6.x86_64.rpm

[root@xuegod64 x86_64]# yum install -y cluster-glue resource-agents

[root@xuegod64 x86_64]# rpm -ivh heartbeat-3.0.6-1.el6.x86_64.rpm

2）查看生成的用戶和組：

[root@xuegod64 ~]# grep haclient /etc/group

haclient:x:489:

[root@xuegod64 ~]# id hacluster

uid=495(hacluster) gid=489(haclient) groups=489(haclient) 

六、配置heartbeat ：xuegod63 和xuegod64

xuegod63上生成heartbeat配置文件 （將xuegod63配置好的文件拷貝的xuegod64上）

1）拷貝配置文件

[root@xuegod63 ~]# cp /usr/share/doc/heartbeat-3.0.6/ha.cf /etc/ha.d/ #主配置文件

[root@xuegod63 ~]# cp /usr/share/doc/heartbeat-3.0.6/authkeys /etc/ha.d/ #主備節點間通訊時所使用的驗證文件，保證安全性

[root@xuegod63 ~]# cp /usr/share/doc/heartbeat-3.0.6/haresources /etc/ha.d/ #浮動資源的配置文件

2）設置主備節點間通訊時所使用的驗證文件，保證安全性。主備節點配置要求一致。

[root@xuegod63 ~]# vim /etc/ha.d/authkeys

改： 

爲：

auth 3

#1 crc

#2 sha1 HI!

3 md5 mkkey

[root@xuegod63 ~]# chmod 600 /etc/ha.d/authkeys #此文件權限必須是600，不然啓動不成功

注:

/etc/ha.d/authkeys 文件決定了認證密鑰。共有三種認證方式：crc，md5，和sha1。

三種認證方法的用途

   若是Heartbeat運行於安全網絡之上，如本例中的交叉線，可使用crc，從資源的角度來看，這是代價最低的方法。若是網絡並不安全，但也但願下降CPU使用，則使用md5。最後，若是想獲得最好的認證，而不考慮CPU使用狀況，則使用sha1，它在三者之中最難破解。

3）修改浮動資源，注意添加的順序，::表示分隔符

[root@xuegod63 ~]#vim /etc/ha.d/haresources

改： 44 #node-name resource1 resource2 ... resourceN

爲：

xuegod63.cn IPaddr::192.168.1.200/24/eth0 Filesystem::192.168.1.62:/wwwdir::/var/www/html::nfs httpd  

注：

node-name填的是主服務器的主機名。 xuegod64上不須要修改。這樣資源默認會加一這個主機上。當xuegod63壞了，xuegod64會再接管。

IPaddr::192.168.1.200/24/eth0 #指定VIP及綁定到哪一個網卡上

Filesystem::192.168.1.62:/wwwdir::/var/www/html::nfs #指定要掛載的存儲

httpd #指定要啓動的服務。這個服務必須是/etc/init.d下，能夠經過service去啓動或關閉

4）測試

（1）測試： 手動加載VIP 192.168.1.200到eth0上

[root@xuegod63 ~]# ll /etc/ha.d/resource.d/IPaddr

-rwxr-xr-x 1 root root 2273 Jul 29 20:49 /etc/ha.d/resource.d/IPaddr

[root@xuegod63 ~]# /etc/ha.d/resource.d/IPaddr 192.168.1.200/24/eth0 start

IPaddr[7116]: INFO: Success

INFO: Success

查看 VIP：

[root@xuegod63 x86_64]#ip addr  #能夠看到 eth0:0 的IP爲：192.168.1.200

注：在Linux rhel6.2版本中可使用ifconfig查看，可是在rhel6.5上只能用ip addr 命令來查看到

（2）測試： 手動加載NFS存儲資源到/var/www/html

[root@xuegod63 ~]# /etc/ha.d/resource.d/Filesystem 192.168.1.62:/wwwdir /var/www/html/ nfs start

Filesystem[23575]: INFO: Running start for 192.168.1.62:/wwwdir on /var/www/html

Filesystem[23567]: INFO: Success

INFO: Success

[root@xuegod63 ~]# mount

192.168.1.62:/wwwdir on /var/www/html type nfs (rw,vers=4,addr=192.168.1.62,clientaddr=192.168.1.63)

（3）測試： 手動啓動httpd服務

[root@xuegod63 ~]# /etc/init.d/httpd restart

[root@xuegod63 ~]# grep /etc/ha.d/ha.cf #默認只開啓瞭如下兩行內容

logfacility local0

auto_failback on

註釋：

#auto_failback on #爲on時，主結點恢復正常後，資源自動轉給主結點。 建議設爲auto_failback off ，等主節點恢復正常後，在業務不繁忙時，切換回來。防止主節點恢復正常時，回切時，再次影起網絡中斷。

5）修改配置文件

[root@xuegod63 ~]# vim /etc/ha.d/ha.cf #將配置文件中，如下內容前面的#號去掉

24 debugfile /var/log/ha-debug

29 logfile /var/log/ha-log

48 keepalive 2 #設定heartbeat之間的時間間隔爲2秒。

56 deadtime 30 #在30秒後宣佈節點死亡。

61 warntime 10 #在日誌中發出「late heartbeat「警告以前等待的時間，單位爲秒。

71 initdead 120 #在某些系統上，系統啓動或重啓以後須要通過一段時間網絡才能正常工做，該選項用於解決這種狀況產生的時間間隔。取值至少爲deadtime的兩倍。

76 udpport 694 #使用端口694進行bcast和ucast通訊。這是默認的，而且在IANA官方註冊的端口號。

121 ucast eth0 192.168.1.64 #表示從本機的eth0接口發心跳消息給對方節點，寫另外一端的IP地址 。 這是單播地址。 xuegod64上改成192.168.1.63 。心跳網卡 ，若是你有兩個網卡，能夠寫成eth1

注：配置文件中 91 #bcast eth0 #表示在eth0接口上使用廣播heartbeat（將eth1替換爲eth0，eth2，或者您使用的仸何接口）。

157 auto_failback on #當auto_failback設置爲on時，一旦主節點從新恢復聯機，將從從節點取回全部資源。若該選項設置爲off，主節點便不能從新得到資源。

211 node xuegod63.cn #該選項是必須配置的。集羣中機器的主機名，與「uname –n」的輸出相同。

212 node xuegod64.cn

 

修改如下內容

改：223 #ping 10.10.10.254

爲：223 ping 192.168.1.1 #經過ping命令來實現仲裁

改：256 #respawn hacluster /usr/lib/heartbeat/ipfail

爲：256 respawn hacluster /usr/libexec/heartbeat/ipfail

改：262 #apiauth ipfail gid=haclient uid=hacluster

爲：    apiauth ipfail gid=haclient uid=hacluster

到此修改結束，保存，退出。

七、xuegod64上配置heartbeat 

1）複製配置文件到xuegod64上：

root@xuegod63 ~]# cd /etc/ha.d/

[root@xuegod63 ha.d]# scp ha.cf haresources authkeys 192.168.1.64:/etc/ha.d/

[root@xuegod64 ~]# chmod 600 /etc/ha.d/authkeys #此文件必須是600不然heartbeat啓動不成功

#修改單播地址

[root@xuegod64 ~]# vim /etc/ha.d/ha.cf

改： ucast eth0 192.168.1.64

爲： ucast eth0 192.168.1.63

2）兩機器啓動heartbeat服務：

[root@xuegod63 ~]# /etc/init.d/heartbeat restart

[root@xuegod64 ~]# /etc/init.d/heartbeat restart

#等待資源接管完成。 takeover接管。 當啓動停留在這個界面時，xuegod64會接管全部浮動資源。等下面啓動成功時，xuegod64會釋放資源，浮雲資源，再次加載。

3）在xuegod63查看集羣資源：

[root@xuegod63 ~]# ifconfig

eth0:0 Link encap:Ethernet HWaddr 00:0C:29:12:EC:1E

inet addr:192.168.1.200 Bcast:192.168.1.255 Mask:255.255.255.0

[root@xuegod63 ~]# df -h

/dev/sr0 3.4G 3.4G 0 100% /mnt

192.168.1.62:/wwwdir 9.7G 3.4G 5.8G 37% /var/www/html

[root@xuegod63 ~]# /etc/init.d/httpd status

httpd (pid 23641) is running...

4）xuegod64上查看，沒有任何浮雲資源： 

[root@xuegod64 ~]# ifconfig

[root@xuegod64 ~]# df -h

[root@xuegod63 ~]# /etc/init.d/httpd status

httpd is stopped

 

八、測試：

兩臺主機都開啓時，全部請求到轉到了xuegod63上。訪問：http://192.168.1.200/ 正常 。當掉xuegod63，關閉網卡，等30秒鐘，全部請求都轉到xuegod64上了

1）主掛掉，驗證備

[root@xuegod63 ha.d]# ifdown eth0

[root@xuegod64 ~]# ifconfig

eth0:0 Link encap:Ethernet HWaddr 00:0C:29:48:80:95

inet addr:192.168.1.200 Bcast:192.168.1.255 Mask:255.255.255.0

[root@xuegod64 ~]# df -h

192.168.1.62:/wwwdir 9.7G 3.4G 5.8G 37% /var/www/html

[root@xuegod64 ~]# service httpd status

httpd (pid 6375) is running...

2）主再次復活，驗證搶佔功能---xuegod63上把eth0網卡再次開啓：

[root@xuegod63 ~]# ifup eth0

等30秒後，查看：

[root@xuegod63 ~]# df -h

192.168.1.62:/wwwdir 9.7G 3.4G 5.8G 37% /var/www/html #已經加載了httpd資源

[root@xuegod63 ~]# service httpd status

httpd (pid 27097) is running...

[root@xuegod63 ~]# ifconfig

eth0:0 Link encap:Ethernet HWaddr 00:0C:29:12:EC:1E

inet addr:192.168.1.200 Bcast:192.168.1.255 Mask:255.255.255.0

資源已經回切過來。

3）在xuegod64上查看釋放資料：

[root@xuegod64 ~]# ifconfig #查看不到eth0：0 192.168.1.200 這個IP地址

[root@xuegod64 ~]# df -h

Filesystem Size Used Avail Use% Mounted on

/dev/sda2 9.7G 3.7G 5.5G 41% /

tmpfs 569M 0 569M 0% /dev/shm

/dev/sda1 194M 28M 157M 15% /boot

/dev/sr0 3.4G 3.4G 0 100% /mnt

[root@xuegod64 ~]# service httpd status

httpd is stopped