RHEL6.4x64+RHCS+Conga（luci/ricci）+iSCSI+CLVM+gfs2安裝配置V1.0

主機名	IP地址	主機用途	虛擬IP	所需軟件
Manager	192.168.182.128	iSCSI-Target/RHCS管理端	無	scsi-target/luci
Agent1	192.168.182.131	iSCSI-Initiator/web服務	192.168.182.182	iscsi-initiator/rgmanager（包含cman/ricci） /lvm2-cluster/gfs2
Agent2	192.168.182.132	iSCSI-Initiator/web服務	192.168.182.182	iscsi-initiator/rgmanager（包含cman/ricci）/ lvm2-cluster/ gfs2

1、基本配置
1.關閉Manager/Agent1/Agent2的iptables和selinux

#/etc/init.d/iptables stop

#vim /etc/selinux/config

把SELINUX=enforcing改爲SELINUX=permissive，重啓生效。如要當即生效輸入#setenforce 0

2.配置Manager/Agent1/Agent2的hosts文件

#vim /etc/hosts

輸入如下內容

192.168.182.128 Manager

192.168.182.131 Agent1

192.168.182.132 Agent2

3.配置Manager/Agent1/Agent2的ntp時間同步

4.配置好yum源

5.在agent1和agent2上安裝httpd服務

#yum install -y httpd

#/etc/init.d/httpd start

#chkconfig httpd on

--基本配置完畢

2、iSCSI安裝配置

1.安裝target，在Manager上執行

用fdisk分一個10G的空間，而後partx重讀分區

# fdisk /dev/sda

# partx /dev/sda -a

安裝iscsi-target

# yum install -y scsi-target-utils

2.配置target，在Manager上執行

先備份一下配置文件

#cp /etc/tgt/targets.conf /etc/tgt/targets.conf.bak

在文件最後添加如下信息

#vim /etc/tgt/targets.conf

<target iqn.2014-01.Manager:ReedStorage>

   backing-store /dev/sda5

   initiator-address 192.168.182.0/24

   incominguser reed password

   write-cache off

</target>

啓動並設置開機啓動

#chkconfig tgtd on ; /etc/init.d/tgtd start

查看iscsi target相關信息

#tgt-admin –show

3.安裝initiator，在agent1和agent2上執行

#yum install -y iscsi-initiator-utils

設置開機啓動

#chkconfig iscsi on

4.配置initiator，在agent1和agent2上執行

#vim /etc/iscsi/iscsid.conf

#在文件最後加入如下內容：

node.session.auth.username = reed

node.session.auth.password = password

discovery.sendtargets.auth.username = reed

discovery.sendtargets.auth.password = password

5.在initiator發現target盤，在agent1和agent2上執行

#iscsiadm -m dicovery -t sendtargets -p 192.168.182.128

6.顯示全部target數據，在agent1和agent2上執行

#iscsiadm -m node

查看iscsi磁盤（成功的話會看到iscsi target分享的磁盤）

#fdisk -l

--iscsi配置完畢。

3、Conga管理工具（luci/ricci）、cman和rgmanager集羣工具安裝配置

1.安裝luci工具，在Manager上執行

#yum install -y luci

#/etc/init.d/luci start

#chkconfig luci on

2.安裝rgmanager（包含了ricci/cman），在agent1和agent2上執行

#yum install rgmanager -y 會自動安裝ricci、cman等包

#chkconfig ricci on ; /etc/init.d/ricci start

#chkconfig NetworkManager off ; /etc/init.d/NetworkManager stop

#chkconfig cman on ; chkconfig rgmanager on

啓動有前後順序，先啓動cman再啓動rgmanager，關閉則相反。

#/etc/init.d/cman start ; /etc/init.d/rgmanager start

3.使用luci進行配置集羣

3.1新建一個集羣

1）先在agent1和agent2上爲ricci用戶設置一個密碼

#echo 123456|passwd --stdin ricci

2）打開luci的web界面，https://ip:8084，用戶密碼爲系統root用戶和密碼。在啓動luci服務會有提示。

新建一個集羣，名爲clvm_cluster，添加兩個節點，一個名爲192.168.182.131，另外一個名爲192.168.182.132。node name和Riccihostname都是192.168.182.131和192.168.182.132，密碼爲剛纔設置的，端口保持默認。由於以前在兩個節點上都安裝了ricci、cman等包，因此單選use locally installed packages，enable shared storage support選項其實就是指的gfs，咱們在後面手動裝包來實施，這裏不勾選。

3.2設置Failover Domains

點擊菜單中的Failover Domains，添加一個熱備切換域，名爲web，勾選no Failback和Prioritized，勾選192.168.182.131 ，192.168.182.132兩個節點。

3.3設置Resources

點擊菜單中的Resources，添加一個ip address資源，ip爲192.168.182.182，這個ip就是提供服務的虛擬ip，再添加一個script，名爲http，腳本路徑/etc/init.d/httpd。

3.4設置ServiceGroups

點擊菜單中的Services，添加一個服務，名爲web_service，選擇剛建立的熱備切換域web，添加資源，把剛建立的ip資源和腳本資源添加進來，若是服務須要使用的資源具備前後關係，那麼須要將前提資源以子資源（add a child resource）的形式添加。

4.測試

在兩個節點上針對httpd寫一個index.html的頁面，agent1上# echo agent1 > /var/www/html/index.html，agent2上# echo agent2> /var/www/html/index.html。訪問這個apache服務，能夠經過訪問到的內容來檢測集羣提供的服務是由哪一個節點完成的。

在兩個節點上都監控日誌tail -f /var/log/message，啓動這個apache服務，查看服務啓動時節點的信息，有助於更好的理解rhcs和增長排錯經驗。如無心外，此時應該能夠看到apache服務會在其中一個節點上啓動，個人啓動在agent1上，在Services菜單能夠看到，在任意節點上用指令clustat查看更快更方便。

#clustat -l

5.配置fence設備

！！因爲在虛擬機環境下，暫沒法測試。

--集羣配置完畢

4、CLVM的安裝與配置

1.安裝CLVM，在agent1和agent2上執行

#yum install -y lvm2-cluster

#chkconfig clvmd on

2.啓用CLVM，在agent1和agent2上執行

#lvmconf --enable-cluster

3.查看一下啓用的集羣LVM，在agent1和agent2上執行

若是不是3，則改成3

#grep "locking_type = 3" /etc/lvm/lvm.conf

4.啓動CLVM服務

由於暫沒有可用卷組，因此啓動時會有提示「Activating VG(s): No volume groups found 「，但不影響正常啓動。

#/etc/init.d/clvmd start

5.在節點上建立lvm，在agent1或者agent2其中一臺執行便可

1）用fdisk -l查看共享的磁盤

#fdisk -l

2）建立邏輯卷lv

#pvcreate /dev/sdb

#vgcreate iscsivg /dev/sdb

#lvcreate -L 5G -n iscsilv01 iscsivg

查看

#pvdisplay

#lvs

--CLVM配置完畢

5、gfs2的安裝與配置

1.安裝gfs2，在agent1和agent2上執行

#yum install -y gfs2-utils

2.格式化爲集羣文件系統gfs2

格式化爲gfs2，設定鎖機制及2份journal，-t分兩部分，集羣名:設備名，格式化的時間有點長，耐心等待。

#mkfs.gfs2 -j 2 -p lock_dlm -t clvm_cluster:gfs2Storage /dev/iscsivg/iscsilv01

3.掛載並設置開機掛載gfs2，在agent1和agent2上執行

掛載到/var/www/html

#mount -t gfs2 /dev/iscsivg/iscsilv01 /var/www/html

設置開機掛載

#echo "/dev/iscsivg/iscsilv01 /var/www/html gfs2 defaults 0 0">>/etc/fstab

#mount -a

4.測試讀寫文件到gfs2，在任意一個agent上執行便可

#cd /var/www/html/

#echo "rhcs test">index.html

用瀏覽器訪問http://vip測試

5.在luci的Resources菜單添加一個gfs2資源，name爲web_gfs2，mount point爲/var/www/html，Device爲/dev/iscsivg/iscsilv01，filesystem type爲gfs2。打開Services菜單，點擊web_service服務，添加一個資源，選擇剛建立的web_gfs2。

--gfs2配置完畢

6、查看cluster.conf文件

至此，所有配置完畢，附cluster.conf文件

<?xml version="1.0"?>

<cluster config_version="9" name="clvm_cluster">

       <clusternodes>

               <clusternode name="192.168.182.131" nodeid="1"/>

               <clusternode name="192.168.182.132" nodeid="2"/>

       </clusternodes>

       <cman expected_votes="1" two_node="1"/>

       <rm>

               <failoverdomains>

                       <failoverdomain name="web" nofailback="1" ordered="1">

                               <failoverdomainnode name="192.168.182.131" priority="1"/>

                               <failoverdomainnode name="192.168.182.132" priority="2"/>

                       </failoverdomain>

               </failoverdomains>

               <resources>

                       <ip address="192.168.182.182" sleeptime="10"/>

                       <script file="/etc/init.d/httpd" name="httpd"/>

                       <clusterfs device="/dev/iscsivg/iscsilv01" fsid="53620" fstype="gfs2" mountpoint="/var/www/html" name="web_gfs2"/>

               </resources>

               <service domain="web" name="web_service" recovery="relocate">

                       <ip ref="192.168.182.182"/>

                       <script ref="httpd"/>

                       <clusterfs ref="web_gfs2"/>

               </service>

       </rm>

</cluster>

7、測試

任意把其中一臺agent執行shutdown操做，查看web和日誌確認RHCS是否正常。因爲虛擬機環境沒法正常fence，因此暫不測試異常狀態。

8、後續

當節點超過兩個的時候，好比說四節點，若是一、2節點通訊正常，三、4節點通訊正常，可是一、2和三、4之間通訊不正常，那麼一、2造成一個組，三、4造成一個組，各執己見，爭奪服務和資源，造成split-brain，這是咱們不但願出現的情況，咱們怎麼去解決這個問題呢？答案就是使用quorum disk仲裁磁盤。

正在測試中。

9、參考資料

http://ixdba.blog.51cto.com/2895551/589079

http://blog.csdn.net/dbvasp/article/details/8629370

http://freeloda.blog.51cto.com/2033581/1279063