Centos7下GlusterFS 分佈式文件系統環境搭建

Centos7下 GlusterFS 環境搭建
準備工做
glusterfs-3.6.9.tar.gz
userspace-rcu-master.zip
三臺服務器：192.168.133.5三、192.168.133.5四、192.168.133.55
若是您的環境沒有網絡，請先閱讀centos7 配置本地yum源
如下出現的簡寫 含義
53 192.168.133.53：主節點
54 192.168.133.54：從節點
55 192.168.133.55：客戶端
（53） 僅在53節點操做
（53&54） 53和54兩個節點均需操做
（55） 僅在55節點操做
1、安裝依賴（53&54）
yum install -y flex bison openssl openssl-devel acl libacl libacl-devel sqlite-devel libxml2-devel python-devel make cmake gcc gcc-c++ autoconf automake libtool unzip zip
注：以上是一條命令

2、安裝userspace-rcu-master（53&54）
1）建立software目錄並將glusterfs-3.6.9.tar.gz和userspace-rcu-master.zip上傳，以下圖所示：

2）解壓並編譯安裝，命令以下：

unzip /usr/local/software/userspace-rcu-master.zip -d /usr/local/
cd /usr/local/userspace-rcu-master/
./bootstrap
./configure
make && make install
ldconfig
3、安裝userspace-rcu-master（53&54）
1）解壓並編譯安裝，命令以下：

tar -zxvf /usr/local/software/glusterfs-3.6.9.tar.gz -C /usr/local/
cd /usr/local/glusterfs-3.6.9/
./configure --prefix=/usr/local/glusterfs
make && make install
1
2
3
4
2）添加環境變量，命令和示例圖以下所示：

vi /etc/profile

#最上面添加以下配置
export GLUSTERFS_HOME=/usr/local/glusterfs
export PATH=$PATH:$GLUSTERFS_HOME/sbin
1
2
3

source /etc/profile #刷新配置使之生效

 

3）啓動glusterfs

/usr/local/glusterfs/sbin/glusterd

4）關閉防火牆

systemctl stop firewalld.service
systemctl disable firewalld.service
4、創建集羣（53）
爲何是53節點？沒啥爲何，隨便選一個。

1）執行如下命令，將192.168.133.54節點加入到集羣：

gluster peer probe 192.168.133.54

 

2）查看集羣狀態：

gluster peer status

 

3）查看 volume 信息（因爲尚未建立volume因此顯示的是暫無信息）：

gluster volume info

 

4）建立數據存儲目錄(在53和54兩個節點上都運行)：

mkdir -p /opt/gluster/data

5）建立複製卷 models，指定剛剛建立的目錄（replica 2代表存儲2個備份，後面指定服務器的存儲目錄）

gluster volume create models replica 2 192.168.133.53:/opt/gluster/data 192.168.133.54:/opt/gluster/data force

 

6）再次查看 volume 信息

gluster volume info

 

7）啓動 models

gluster volume start models

 

8）gluster 性能調優

開啓 指定 volume 的配額
gluster volume quota models enable

限制 models 總目錄最大使用 5GB 空間（5GB並不是絕對，您可根據實際硬盤大小配置）
gluster volume quota models limit-usage / 5GB

設置 cache 大小（128MB並不是絕對，您可根據實際硬盤大小配置）

gluster volume set models performance.cache-size 128MB

開啓異步，後臺操做
gluster volume set models performance.flush-behind on

設置 io 線程 32
gluster volume set models performance.io-thread-count 32

設置 回寫 (寫數據時間，先寫入緩存內，再寫入硬盤)
gluster volume set models performance.write-behind on

9）查看調優以後的volume信息

gluster volume info

 

5、部署客戶端並掛載GlusterFS文件系統(55)
到目前爲止，大部分工做已經作完了，接下來就是掛載一個目錄，而後經過對這個掛載目錄操做，實現數據同步至文件系統。寫文件試試^_^

1）安裝gluster-client，命令以下：

yum install -y glusterfs glusterfs-fuse

2）創建掛載點目錄，命令以下：

mkdir -p /opt/gfsmount

3）掛載，命令以下：

mount -t glusterfs 192.168.133.53:models /opt/gfsmount/

 

4）令檢查掛載狀況，命令以下：

df -h

 

5）測試

time dd if=/dev/zero of=/opt/gfsmount/hello bs=10M count=1

 

mkdir /opt/gfsmount/test

6）查看集羣存儲狀況 (在53和54兩個節點上都運行)：

cd /opt/gluster/data/ && ll

 

備註：查看得知gluster服務器的每一個節點上都有備份，符合步驟建立複製卷 models，指定剛剛建立的目錄（replica 2代表存儲2個備份）

6、GlusterFS相關命令
查看GlusterFS中全部的volume：

gluster volume list

啓動磁盤：

gluster volume start models //啓動名字爲 models 的磁盤

中止磁盤：

gluster volume stop models //中止名字爲 models 的磁盤

刪除磁盤：

gluster volume delete models //刪除名字爲 models 的磁盤

7、結束語
至此，GlusterFS的分佈式環境已經搭建完成。

1.若是機器重啓，

glusterFS服務須要啓動
磁盤models須要啓動
目錄/opt/gfsmount/須要從新掛載
掛載完目錄/opt/gfsmount/須要從新進入
systemctl stop firewalld.service
gluster volume start models
mount -t glusterfs 192.168.133.53:models /opt/gfsmount/
cd /opt/gfsmount/

注意：兩個分區掛到同一個分區，第一個掛的那個不是被覆蓋，而是被暫時隱藏。好比：你先掛的mount /dev/sda1 /opt/gfsmount/，又掛的mount /dev/sda2 /opt/gfsmount/，那/dev/sda1內的就暫時被隱藏，你只要umount /dev/sda2，把第二個分區卸載了，在cd /opt/gfsmount/就能夠看到掛的第一個分區的內容了。