建立RHCS集羣環境

建立RHCS集羣環境

1.1 問題

準備四臺KVM虛擬機，其三臺做爲集羣節點，一臺安裝luci並配置iSCSI存儲服務，實現以下功能：

• 使用RHCS建立一個名爲tarena的集羣

• 集羣中全部節點均須要掛載iSCSI共享存儲

• 使用集羣中任意節點對iSCSI設置進行分區格式化

• 安裝luci的虛擬主機要求額外添加一塊20G硬盤

• 物理主機IP地址爲192.168.4.1，主機名稱爲desktop1.example.com

1.2 方案

使用4臺虛擬機，1臺做爲luci和iSCSI服務器、3臺做爲節點服務器，拓撲結構如圖-1所示。

圖-1

全部主機的主機名及對應的IP地址如表-1所示。

表－1 主機名稱及對應IP地址表

1.3 步驟

實現此案例須要按照以下步驟進行。

步驟一：安裝前準備

1）爲全部節點配置yum源，注意全部的虛擬主機均須要掛載安裝光盤。

1. [root@node1 ~]# mount /dev/cdrom /media

2. [root@node1 ~]# rm -rf /etc/yum.repos.d/*

3. [root@node1 ~]# vim /etc/yum.repos.d/dvd.repo

4. [dvd]

5. name=red hat

6. baseurl=file:///media/

7. enabled=1

8. gpgcheck=0

9. [HighAvailability]

10. name=HighAvailability

11. baseurl=file:///media/HighAvailability

12. enabled=1

13. gpgcheck=0

14. [LoadBalancer]

15. name=LoadBalancer

16. baseurl=file:///media/LoadBalancer

17. enabled=1

18. gpgcheck=0

19. [ResilientStorage]

20. name=ResilientStorage

21. baseurl=file:///media/ResilientStorage

22. enabled=1

23. gpgcheck=0

24. [ScalableFileSystem]

25. name=ScalableFileSystem

26. baseurl=file:///media/ScalableFileSystem

27. enabled=1

28. gpgcheck=0

29. [root@node1 ~]# yum clean all

30. [root@node2 ~]# mount /dev/cdrom /media

31. [root@node2 ~]# rm –rf /etc/yum.repos.d/*

32. [root@node2 ~]# vim /etc/yum.repos.d/dvd.repo

33. [dvd]

34. name=red hat

35. baseurl=file:///media/

36. enabled=1

37. gpgcheck=0

38. [HighAvailability]

39. name=HighAvailability

40. baseurl=file:///media/HighAvailability

41. enabled=1

42. gpgcheck=0

43. [LoadBalancer]

44. name=LoadBalancer

45. baseurl=file:///media/LoadBalancer

46. enabled=1

47. gpgcheck=0

48. [ResilientStorage]

49. name=ResilientStorage

50. baseurl=file:///media/ResilientStorage

51. enabled=1

52. gpgcheck=0

53. [ScalableFileSystem]

54. name=ScalableFileSystem

55. baseurl=file:///media/ScalableFileSystem

56. enabled=1

57. gpgcheck=0

58. [root@node2 ~]# yum clean all

59. [root@node3 ~]# mount /dev/cdrom /media

60. [root@node3 ~]# rm -rf /etc/yum.repos.d/*

61. [root@node3 ~]# vim /etc/yum.repos.d/dvd.repo

62. [dvd]

63. name=red hat

64. baseurl=file:///media/

65. enabled=1

66. gpgcheck=0

67. [HighAvailability]

68. name=HighAvailability

69. baseurl=file:///media/HighAvailability

70. enabled=1

71. gpgcheck=0

72. [LoadBalancer]

73. name=LoadBalancer

74. baseurl=file:///media/LoadBalancer

75. enabled=1

76. gpgcheck=0

77. [ResilientStorage]

78. name=ResilientStorage

79. baseurl=file:///media/ResilientStorage

80. enabled=1

81. gpgcheck=0

82. [ScalableFileSystem]

83. name=ScalableFileSystem

84. baseurl=file:///media/ScalableFileSystem

85. enabled=1

86. gpgcheck=0

87. [root@node3 ~]# yum clean all

88. [root@luci ~]# mount /dev/cdrom /media

89. [root@luci ~]# rm -rf /etc/yum.repos.d/*

90. [root@luci ~]# vim /etc/yum.repos.d/dvd.repo

91. [dvd]

92. name=red hat

93. baseurl=file:///media/

94. enabled=1

95. gpgcheck=0

96. [HighAvailability]

97. name=HighAvailability

98. baseurl=file:///media/HighAvailability

99. enabled=1

100. gpgcheck=0

101. [LoadBalancer]

102. name=LoadBalancer

103. baseurl=file:///media/LoadBalancer

104. enabled=1

105. gpgcheck=0

106. [ResilientStorage]

107. name=ResilientStorage

108. baseurl=file:///media/ResilientStorage

109. enabled=1

110. gpgcheck=0

111. [ScalableFileSystem]

112. name=ScalableFileSystem

113. baseurl=file:///media/ScalableFileSystem

114. enabled=1

115. gpgcheck=0

116. [root@luci ~]# yum clean all

2）修改/etc/hosts並同步到全部主機。

1. [root@luci ~]# vim /etc/hosts

2. 192.168.4.1        node1.example.com

3. 192.168.4.2        node2.example.com

4. 192.168.4.3        node3.example.com

5. 192.168.4.4        luci.example.com

6. [root@luci ~]# for i in {1..3};do scp /etc/hosts 192.168.4.$i:/etc/;done

3）全部節點關閉NetworkManager、SELinux服務。

1. [root@luci ~]# service NetworkManager stop

2. [root@luci ~]# chkconfig NetworkManager off

3. [root@luci ~]# sed -i '/SELINUX=/s/enforcing/permissive/' /etc/sysconfig/selinux

4. [root@luci ~]# setenforce 0

5. [root@luci ~]# iptables -F; service iptables save

6. [root@node1 ~]# service NetworkManager stop

7. [root@node1 ~]# chkconfig NetworkManager off

8. [root@node1 ~]# sed -i '/SELINUX=/s/enforcing/permissive/' /etc/sysconfig/selinux

9. [root@node1 ~]# setenforce 0

10. [root@node1 ~]# iptables -F; service iptables save

11. [root@node2 ~]# service NetworkManager stop

12. [root@node2 ~]# chkconfig NetworkManager off

13. [root@node2 ~]# sed -i '/SELINUX=/s/enforcing/permissive/' /etc/sysconfig/selinux

14. [root@node2 ~]# setenforce 0

15. [root@node2 ~]# iptables -F; service iptables save

16. [root@node3 ~]# service NetworkManager stop

17. [root@node3 ~]# chkconfig NetworkManager off

18. [root@node3 ~]# sed -i '/SELINUX=/s/enforcing/permissive/' /etc/sysconfig/selinux

19. [root@node3 ~]# setenforce 0

20. [root@node3 ~]# iptables -F; service iptables save

步驟二：部署iSCSI服務

1）在luci主機上部署iSCSI服務器，將/dev/sdb使用iSCSI服務共享。

提示：服務器IQN名稱爲: iqn.2015-06.com.example.luci:cluster。

1. [root@luci ~]# yum  -y  install  scsi-target-utils        //安裝軟件

2. .. ..

3. [root@luci ~]# rpm  -q  scsi-target-utils

4. scsi-target-utils-1.0.24-10.el6.x86_64

5. [root@luci ~]# vim /etc/tgt/targets.conf

6. <target iqn.2015-06.com.example.luci:cluster>

7. # List of files to export as LUNs

8. backing-store /dev/sdb                            //定義存儲設備

9. initiator-address 192.168.4.0/24                    //定義ACL

10. </target>

11. [root@luci ~]# service  tgtd  start                     //啓動服務

12. Starting SCSI target daemon:                               [  OK  ]

13. [root@luci ~]# chkconfig  tgtd  on

2）全部節點服務器掛載該iSCSI共享。

1. [root@node1 ~]# yum -y install iscsi-initiator-utils    //安裝軟件

2. [root@node1 ~]# iscsiadm -m discovery -t sendtargets -p 192.168.4.4:3260

3. [root@node1 ~]# iscsiadm -m node -T \

4. >iqn.2015-06.com.example.luci:cluster \

5. >-p 192.168.4.4:3260 -l                                //掛載iSCSI共享

6. [root@node1 ~]# iscsiadm -m node -T \

7. >iqn.2015-06.com.example.luci:cluster \

8. >-p 192.168.4.4:3260 -l

9. [root@node2 ~]# yum -y install iscsi-initiator-utils    //安裝軟件

10. [root@node2 ~]# iscsiadm -m discovery -t sendtargets -p 192.168.4.4:3260

11. [root@node2 ~]# iscsiadm -m node -T \

12. >iqn.2015-06.com.example.luci:cluster \

13. >-p 192.168.4.4:3260 –l                                //掛載iSCSI共享

14. [root@node2 ~]# iscsiadm -m node -T \

15. >iqn.2015-06.com.example.luci:cluster \

16. >-p 192.168.4.4:3260 -l

17. [root@node3 ~]# yum -y install iscsi-initiator-utils    //安裝軟件

18. [root@node3 ~]# iscsiadm -m discovery -t sendtargets -p 192.168.4.4:3260

19. [root@node3 ~]# iscsiadm -m node -T \

20. >iqn.2015-06.com.example.luci:cluster \

21. >-p 192.168.4.4:3260 -l                                //掛載iSCSI共享

22. [root@node3 ~]# iscsiadm -m node -T \

23. >iqn.2015-06.com.example.luci:cluster \

1. >-p 192.168.4.4:3260 –l

步驟三：安裝集羣軟件

1）在luci.example.com主機上安裝luci，並啓動服務。

1. [root@luci ~]# yum –y install luci

2. [root@luci ~]# service luci start;chkconfig luci on

2）在全部的集羣節點中安裝ricci，並啓動服務。

1. [root@node1 ~]# yum -y install ricci

2. [root@node1 ~]# echo "11111" |passwd --stdin ricci

3. [root@node1 ~]# service ricci start;chkconfig ricci on

4. [root@node2 ~]# yum -y install ricci

5. [root@node2 ~]# echo "11111" |passwd --stdin ricci

6. [root@node2 ~]# service ricci start;chkconfig ricci on

7. [root@node3 ~]# yum -y install ricci

8. [root@node3 ~]# echo "11111" |passwd --stdin ricci

9. [root@node3 ~]# service ricci start;chkconfig ricci on

步驟四：配置集羣

1）瀏覽器訪問luci，任意主機使用瀏覽器訪問便可。

1. [root@luci ~]# firefox https://luci.example.com:8084

2）建立集羣。

使用瀏覽器訪問luici頁面後，點擊「Manage Clusters「頁面，點擊」Create「按鈕建立一個新的集羣，如圖-2所示。

圖-2

接下來，在彈出的回話框中，輸入集羣的名稱「tarena「，勾選」Download Packages「、「Reboot Nodes Befor Joining Cluster」、「Enable Shared Storage Support」，效果如圖-3所示。

圖-3

等待全部的節點重啓以後，在luci頁面將顯示如圖-4所示的頁面，表明全部節點以及加入到了tarena集羣中。

圖-4

提示：若是節點重啓後，有部分節點沒法自動加入集羣中，能夠將正常的節點系統中/etc/cluster/cluster.conf文件同步到其餘失敗的節點中，並確保失敗節點的cman和rgmanager服務爲啓動狀態便可。