corosyc+pcmake+drbd雙web高可用方案

在對於業務不能中斷而訪問量不是很高的網站來講，用2臺服務器配置成一主一備的高可用的解決方案是比較經常使用的手段 本文基於corosync+pacemaker+drbd，來構建一套完整的雙LAMP高可用集羣系統

建立基礎環境

首先檢查內核是否支持DRBD,個人系統是centos6.2，6.2版本的內核默認是2.6.32-220.el6.i686，DRBD8.3版本須要至少2.6.33內核支持。因此須要安裝內核補丁。（我這裏centos6.2的內核安裝內核補丁出了點問題，在centos5.x系列上沒問題，因此實際上我是編譯安裝的）

DRBD各版本內核支持列表

sohu和163源沒有這個8.2的版本在centos官方源下載

http://mirror.centos.org/centos/5/extras/i386/

配置雙方hostname,並在hosts文件寫入,並創建雙方ssh無密碼通訊

具體步驟這裏再也不列出

hosts文件

Step1：DRBD

建立要同步的磁盤分區

查看磁盤分區狀況

[root@ha1 drbd.d]# fdisk /dev/sdb -l

DRBD安裝包分爲內核部分和用戶空間管理的部分。這2個包都須要安裝

[root@ha1 drbd]# yum localinstall kmod-drbd83-8.3.8-1.el5.centos.i686.rpm drbd83-8.3.8-1.el5.centos.i386.rpm

（本人實際是以編譯的方式安裝，個人配置文件是在/usr/local/etc下面，下面配置文件的路徑以rpm包安裝爲例。centos6.2系統不知爲什麼安裝內核補丁有點問題）

在樣例配置文件基礎上進行配置

[root@ha1 drbd]# cp /usr/share/doc/drbd83-8.3.8/drbd.conf /etc/

編輯全局配置

[root@ha1 drbd]# cd /etc/drbd.d/

[root@ha1 drbd.d]# vi global_common.conf

global {

       usage-count no;

}

common {

       protocol C;

       handlers {

               pri-on-incon-degr "/usr/lib/drbd/notify-pri-on-incon-degr.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f";

               pri-lost-after-sb "/usr/lib/drbd/notify-pri-lost-after-sb.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f";

               local-io-error "/usr/lib/drbd/notify-io-error.sh; /usr/lib/drbd/notify-emergency-shutdown.sh; echo o > /proc/sysrq-trigger ; halt -f";

               fence-peer "/usr/lib/drbd/crm-fence-peer.sh";

               split-brain "/usr/lib/drbd/notify-split-brain.sh root";

               out-of-sync "/usr/lib/drbd/notify-out-of-sync.sh root";

               before-resync-target "/usr/lib/drbd/snapshot-resync-target-lvm.sh -p 15 -- -c 16k";

               after-resync-target /usr/lib/drbd/unsnapshot-resync-target-lvm.sh;

       }

       startup {

               wfc-timeout 120;

               degr-wfc-timeout 120;

       }

       disk {

               on-io-error detach;

               fencing resource-only;

       }

       net {

               cram-hmac-alg "sha1";

               shared-secret "lustlost";

       }

       syncer {

               rate 100M;

       }

}

定義資源配置

[root@ha1 drbd.d]# vi web.res

resource web {

       on ha1.lustlost.com {

       device  /dev/drbd0;

       disk    /dev/sdb1;

       address 172.16.93.148:7789;

       meta-disk       internal;

       }

       on ha2.lustlost.com {

       device  /dev/drbd0;

       disk    /dev/sdb1;

       address 172.16.93.149:7789;

       meta-disk       internal;      

       }

}

將配置文件cp一份到ha2

[root@ha1 drbd.d]# scp /etc/drbd.conf ha2:/etc

[root@ha1 drbd.d]# scp /etc/drbd.d/* ha2:/etc/drbd.d/

初始化磁盤

在ha1和ha2上執行

drbdadm create-md web

在兩個節點都啓動服務

[root@ha2 drbd.d]# service drbd status

啓動之後設置其中一個節點爲主節點，執行下面命令，而後數據會自動同步

[root@ha1 drbd.d]# drbdadm -- --overwrite-data-of-peer primary web

查看同步狀況

[root@ha1 drbd.d]# drbd-overview

同步完成以後，在主節點上查看狀態

查看備節點的狀態

格式化drbd設備

[root@ha1 drbd.d]# mkfs.ext3 /dev/drbd0

掛載至目錄

[root@ha1 drbd.d]# mount /dev/drbd0 /web/

Step2：LAMP平臺

方便起見就直接yum安裝了

[root@ha1 ~]# yum install httpd mysql mysql-server php php-mysql –y

編輯apache的配置，目錄指向drbd掛載點的目錄

[root@ha1 ~]# vi /etc/httpd/conf/httpd.conf

編輯mysql的配置，數據目錄一樣指向drbd掛載點

[root@ha1 ~]# vi /etc/my.cnf

Drbd，Mysql和httpd將配製成集羣服務，配置mysql和php開機不啓動，由集羣服務控制開啓和關閉

[root@ha1 data]# chkconfig mysqld off

[root@ha1 data]# chkconfig httpd off

[root@ha1 data]# chkconfig drbd off

而後將ha2節點也配置成同樣

Step3：Corosync+pacemaker

安裝corosync和pacemaker

[root@ha1 ~]# yum install corosync pacemaker –y

編輯corosync全局配置

[root@ha1 ~]# cd /etc/corosync/

[root@ha1 corosync]# vi corosync.conf

配置以下

# Please read the corosync.conf.5 manual page

compatibility: whitetank

totem {

       version: 2

       secauth: off

       threads: 0

       interface {

               ringnumber: 0

               bindnetaddr: 172.16.93.148

               mcastaddr: 226.94.1.1

               mcastport: 5405

               ttl: 1

       }

}

logging {

       fileline: off

       to_stderr: no

       to_logfile: yes

       to_syslog: yes

       logfile: /var/log/cluster/corosync.log

       debug: off

       timestamp: on

       logger_subsys {

               subsys: AMF

               debug: off

       }

}

amf {

       mode: disabled

}

service {

       ver:0

       name:pacemaker

}

aisexec {

       user:root

       group:root

}

生成密鑰文件

[root@ha2 corosync]# corosync-keygen

可能剛裝的系統或者開機比較短的系統，系統墒池沒有足夠多的隨機數，用此命令生成不了密鑰文件，可使用find / 命令讓系統進行足夠隨機的IO通常就能夠了

將配置文件拷貝一份到ha2

[root@ha1 corosync]# scp -p corosync.conf authkey ha2:/etc/corosync/

而後進入crm配置界面（話說crm真心好用。命令選項所有都能自動補齊，感受就像在配置交換路由）

[root@ha1 corosync]# crm

crm(live)# configure

配置三個全局屬性

crm(live)configure# property no-quorum-policy=ignore 由於是雙節點，因此忽略票數

crm(live)configure# property stonith-enabled=false   關閉stonith設備

crm(live)configure# rsc_defaults resource-stickiness=100 提升資源粘性，防止服務器故障恢復時資源轉移

而後規劃一下須要配置的資源

在雙LAMP節點中，有如下幾個資源

IP地址，mysql，httpd，drbd，掛載文件系統。這幾個資源都須要在同一個節點上，因此先定義一個組。並且這5個資源啓動的前後順序必須先搞清楚。

首先先定義這幾個資源

集羣虛擬IP

crm(live)configure#primitive webip ocf:heartbeat:IPaddr params ip=172.16.93.150 broadcast=255.255.255.0

數據庫

crm(live)configure# primitive webmysql lsb:mysqld

web服務器

crm(live)configure# primitive webserver lsb:httpd

drbd設備

crm(live)configure# primitive webdrbd ocf:heartbeat:drbd params drbd_resource=web

drbd主從定義

crm(live)configure# ms ms_drbd webdrbd meta master-mak="1" master-node-max="1" clone-max="2" clone-node-max="1" notify="true"mount定義

crm(live)configure#primitive webfs ocf:heartbeat:Filesystem params device=/dev/drbd0 directory=/web fstype=ext3 op start timeout=60s op stop timeout=60s

指定約束，將全部的資源約束在一塊兒

crm(live)configure# colocation myweb inf: webip webserver webmysql webfs ms_drbd:Master

定義次序

crm(live)configure# order webfs_after_drbd inf: ms_drbd:promote webfs:start #將drbd提高爲主的才掛載文件系統

crm(live)configure# order webmysql_after_webfs inf: webfs:start webmysql:start #掛載文件系統後才能啓動mysql

crm(live)configure# order webserver_after_webip inf: webip:start webserver:start #ip地址配置好之後才啓動apache

crm(live)configure# order webserver_after_webfs inf: webfs:start webserver:start

#文件系統掛載完成後才能啓動apache

查看一下所有定義好的資源

查看資源啓動狀況

經過關閉ha1 的網卡，可以成功的把全部資源成功轉移到ha2上