部署GlusterFS分佈式存儲

1、介紹

GlusterFS是一個免費、全對稱開源的的分佈式文件系統。GlusterFS 具備強大的橫向擴展能力，經過擴展可以支持數PB存儲容量和處理數千客戶端。

2、GlusterFS卷類型

1.distribute volume分佈式卷(默認)

文件經過hash算法分佈到全部brick上。此時volume的容量是全部brick的和；方便擴展空間，但無冗餘保護。存取效率不高；受限於本地文件系統對單文件容量的限制，支持超大型文件系統有問題。

2.stripe volume 條帶卷

文件分紅數據塊以round robin的方式將每一個chunk存儲到1個brick，至關於raid0。單一超大容量文件可被分片，不受brick server本地文件系統的限制；分佈式讀寫性能較高；無冗餘1個server節點故障會致使全部數據丟失。

3.replica volume 複製卷

文件同步複製到多個brick，至關於文件級raid1，一個是存儲一個是備份，具備容錯能力；讀性能提高，寫性能降低；提高數據可靠性，但磁盤利用率低。

4.distribute replica volume 分佈式複製卷

分佈式卷與複製卷的組合，兼具二者的功能，單個文件在複製卷內數據保持副本，不一樣文件在不一樣複製卷之間進行哈希分佈。

5.distribute stripe volume分佈式條帶卷

分佈式卷與條帶卷的組合，兼具二者的功能，單個文件在條帶卷內數據以條帶的形式存儲，不一樣文件在不一樣條帶卷之間進行哈希分佈。

6.striped replicated volume條帶鏡像卷

條帶與複製卷的組合，兼具二者的功能，單個文件以條帶的形式存儲在2個或多個複製集（replicated sets ），複製集內文件分片以副本的形式保存。

7.distribute stripe replica volume 混合卷

三種基本卷的複合卷，分佈式卷，條帶與複製卷的組合，兼具三者的功能

8.dispersed volume分散式（冗餘式）

文件分片存儲在各個brick上，但有部分硬盤用於冗餘用途，數量能夠指定,至關於文件級raid5。

3、集羣部署

說明：目前爲止stripe（條帶）類型已經用的愈來愈少，全部沒作記錄

1.環境說明

關閉防火牆、關閉selinux，hostname能互相解析

2.軟件安裝

yum -y install centos-release-gluster
yum install -y glusterfs-server

3.啓動服務

systemctl start glusterd
systemctl enable glusterd

4.建立集羣

#在任意節點上執行操做，向集羣中添加節點
gluster peer probe node2
gluster peer probe node3
#從集羣中刪除節點
gluster peer detach node3
#查看狀態
gluster peer status
gluster pool list

5.分佈式卷(Distribut)

#建立分佈式卷
gluster volume create gv1_distribut node1:/data/br1 node2:/data/br1
#查看卷
gluster volume list
#啓動卷
gluster volume start gv1_distribut
#查看卷信息
gluster volume info gv1_distribut

6.複製卷(Replica)

#建立複製卷
gluster volume create gv2_replica replica 2 node1:/data/br1 node2:/data/br1
#查看卷
gluster volume list
#啓動卷
gluster volume start gv2_replica
#查看卷信息
gluster volume info gv2_replica

7.分佈式複製卷(distribute replica)

#建立分佈式複製卷
gluster volume create gv3_distribute_replica replica 2 node1:/data/br1 node2:/data/br1 node3:/data/br1 node4:/data/br1
#查看卷
gluster volume list
#啓動卷
gluster volume start gv3_distribute_replica
#查看卷信息
gluster volume info gv3_distribute_replica

8.冗餘卷(Disperse)

#建立冗餘卷
gluster volume create gv4_disperse disperse 4 node1:/data/br1 node2:/data/br1 node3:/data/br1 node4:/data/br1
#查看卷
gluster volume list
#啓動卷
gluster volume start gv4_disperse
#查看卷信息
gluster volume info

4、卷管理

1.卷擴容

#添加節點到集羣
gluster peer probe node3
gluster peer probe node4
#擴展volume
gluster volume add-brick volume_name node3:/data/br1 node4:/data/br1
#平衡卷（不要在系統繁忙的時候執行）
gluster volume rebalance volume_name start
#查看平衡狀態
gluster volume rebalance volume_name status

2.縮減卷

#移除brick
gluster volume remove-brick volume_name node3:/data/br1 node4:/data/br1 start
#查看移除狀態
gluster volume remove-brick volume_name node3:/data/br1 node4:/data/br1 status
#提交
gluster volume remove-brick volume_name node3:/data/br1 node4:/data/br1 commit
#查看brick是否被移除
gluster volume info volume_name
#平衡卷
gluster volume rebalance volume_name start

3.替換卷

#添加節點
gluster peer probe node5
#替換brick
gluster volume replace-brick volume_name node1:/data/br1 node5:/data/br1 commit force
#查看卷狀態
gluster volume info volume_name

4.刪除卷

#中止卷
gluster volume stop volume_name
#刪除卷
gluster volume delete volume_name
#查看卷
gluster volume info volume_name

5、客戶端設置

1.軟件安裝

yum install -y glusterfs glusterfs-fuse

2.客戶端掛載

mkdir /opt/gluster_disk{1..4}mount -t glusterfs node1:/gv1_distribut /opt/gluster_disk1mount -t glusterfs node1:/gv2_replica /opt/gluster_disk2mount -t glusterfs node1:/gv3_distribute_replica /opt/gluster_disk3mount -t glusterfs node1:/gv4_disperse /opt/gluster_disk4