Moosefs分佈式文件系統集羣講解配置

MFS的官方網站爲http://www.moosefs.org ,詳細信息您能夠去官網進行更多的瞭解，在這裏我只將簡單的知識和你們分享。

MFS的網絡組成有三部分,Master Server;Chunk Server;Client.其中Chunk Server和Client能夠有多個，而Master主控端只能一個。

MFS文件系統結構：

1 管理服務器(master-server):負責各個數據存儲服務器的管理,文件讀寫調度,文件空間回收以及恢復.多節點拷貝

2 元數據日誌服務器(changelog-server): 負責備份master服務器的變化，（通常狀況下能夠和管理服務器放在一塊兒）文件類型爲changelog_ml.*.mfs，以便於在master server出問題的時候接替其進行工做

3數據存儲服務器(chunk-server):負責鏈接管理服務器,遵從管理服務器調度,提供存儲空間，併爲客戶提供數據傳輸.

4客戶端(clients): 經過fuse內核接口掛接遠程管理服務器上所管理的數據存儲服務器,.看起來共享的文件系統和本地unix文件系統使用同樣的效果.

MFS文件系統的寫原理：

MFS文件系統的讀原理：

MFS分佈式文件系統搭建：

系統環境：

                RHEL6.4 

                selinux is disabled

                iptables is flush

1、yum 源定義，用來解決軟件包的依賴性問題
# cat yum.repo
[base]
name=yum
baseurl=ftp://192.168.2.234/pub/RHEL6.4
gpgcheck=0
[HA]
name=ha
baseurl=ftp://192.168.2.234/pub/RHEL6.4/HighAvailability
gpgcheck=0
[lb]
name=LB
baseurl=ftp://192.168.2.234/pub/RHEL6.4/LoadBalancer
gpgcheck=0
[Storage]
name=St
baseurl=ftp://192.168.2.234/pub/RHEL6.4/ResilientStorage
gpgcheck=0
[SFS]
name=FS
baseurl=ftp://192.168.2.234/pub/RHEL6.4/ScalableFileSystem
gpgcheck=0
2、主機解析準備
# cat /etc/hosts
192.168.2.88 node1        mfsmaster
192.168.2.89 node2
192.168.2.90 node3
192.168.2.82 node4
192.168.2.85 node5
實驗將用node1做爲master-server
node3和node4做爲chunk-server
node5做爲clients
全部節點必須有以上準備

3、安裝準備
#yum install rpm-build gcc make fuse-devel zlib-devel -y         安裝編譯環境使用的依賴(其實安裝過程當中會提示安裝)
#rpmbuild -tb mfs-1.6.27.tar.gz                              將gz包構建成rpm包的方式  注意：包的格式很重要(只支持大的版本)

## ls /root/rpmbuild/RPMS/x86_64/                            生成的rpm包
mfs-cgi-1.6.27-2.x86_64.rpm          mfs-client-1.6.27-2.x86_64.rpm
mfs-cgiserv-1.6.27-2.x86_64.rpm      mfs-master-1.6.27-2.x86_64.rpm
mfs-chunkserver-1.6.27-2.x86_64.rpm  mfs-metalogger-1.6.27-2.x86_64.rpm

1.master-server安裝：
# yum localinstall mfs-cgi-1.6.27-2.x86_64.rpm mfs-master-1.6.27-2.x86_64.rpm mfs-cgiserv-1.6.27-2.x86_64.rpm -y
能夠用cgi進行頁面監控

master-server：主要文件和目錄
/var/lib/mfs            mfs數據目錄
metadata.mfs            mfs啓動文件
/etc/mfs                    主目錄(存儲配置文件)
mfsmaster.cfg            mfs主配置文件(定義相關參數，用戶、組等設定)
mfsexports.cfg            mfs被掛接目錄及其權限控制文件
mfstopology.cfg            定義 MFS 網絡拓撲結構的文件

配置文件默認不須要修改就可使用
#chown -R nobody /var/lib/mfs      注意給數據目錄以mfs的權限

# mfsmaster            啓動mfs
#mfsmaster stop            關閉mfs

#netstat  -antlpe（mfsmaster開啓三個端口：客戶端鏈接9421端口，監聽9422端口;數據節點9420端口）

#/usr/share/mfscgi
#chmod +x  *.cgi            給全部的cgi頁面可執行權限(以便與在web下查看狀態)
# mfscgiserv -------        -》啓動cgi監控

http://192.168.2.88:9425/
查看mfs監控信息

2.chunk-server安裝配置（node3 and node4）
#rpm -ivh mfs-chunkserver-1.6.27-2.x86_64.rpm
#cd /etc/mfs/
#cp mfschunkserver.cfg.dist mfschunkserver.cfg
# cp mfshdd.cfg.dist mfshdd.cfg
# vim mfshdd.cfg            存儲文件
    /mnt/chunk            真正存儲的目錄(將客戶端/mnt/mfs的文件存儲)

#mkdir /mnt/chunk
#mkdir /var/lib/mfs
#chown nobody /var/lib/mfs/
#chown nobody /mnt/chunk

# mfschunkserver         啓動mfs服務器（注意，mfsmaster的解析必須到位）

#l.                                    產生一個隱藏鎖文件
.mfschunkserver.lock

3.clients端的安裝與配置；
# yum localinstall mfs-client-1.6.27-2.x86_64.rpm
#cp mfsmount.cfg.dist mfsmount.cfg
#vim mfsmount.cfg
        修改master和分佈式目錄/mnt/mfs
#mkdir /mnt/mfs
#mfsmounts        執行客戶端掛載
mfsmaster accepted connection with parameters: read-write,restricted_ip ; root mapped to root:root            掛載成功

# df                查看掛載設備
mfsmaster:9421         6714624         0   6714624   0% /mnt/mfs

# ll -d /mnt/mfs/            掛載後自動讀寫
drwxrwxrwx 2 root root 0 Jun  8 10:29 /mnt/mfs/

測試：MFS測試：
# mkdir hello{1,2}
# ls
hello1  hello2

# mfsdirinfo hello1/
hello1/:
 inodes:                          1
  directories:                    1
  files:                          0
 chunks:                          0
 length:                          0
 size:                            0
 realsize:                        0

# mfssetgoal -r 3 hello1/        設置備份次數
hello1/:
 inodes with goal changed:               1
 inodes with goal not changed:           0
 inodes with permission denied:          0

# mfsgetgoal hello1/        查看文件備份數
hello1/: 3
# mfsgetgoal hello2
hello2: 1

#cp /etc/fstab hello1/
# cp /etc/passwd hello2/

# mfsfileinfo /hello/fstab             查看文件具體信息
fstab:
    chunk 0: 000000000000000B_00000001 / (id:11 ver:1)
        copy 1: 192.168.2.82:9422
        copy 2: 192.168.2.90:9422

# mfscheckfile passwd

測試存儲關係：

# mfsfileinfo fstab
fstab:
    chunk 0: 000000000000000B_00000001 / (id:11 ver:1)
        copy 1: 192.168.2.90:9422
[root@node5 hello1]# mfsfileinfo ../hello2/passwd
../hello2/passwd:
    chunk 0: 000000000000000C_00000001 / (id:12 ver:1)
        no valid copies !!!


客戶端：誤刪除文件(不當心刪除/mnt/mfs/hello*/passwd)
# mfsmount -m /mnt/test/ -H mfsmaster        恢復目錄掛載到mfsmaster上
mfsmaster accepted connection with parameters: read-write,restricted_ip
# mount

#cd /mnt/test/
## mfscheckfile passwd
# mv 00000005\|hello2\|passwd undel/
直接恢復到以前的mfs目錄中
# umount /mnt/meta/


mfschunk-server能夠自動檢測客戶端的配置文件：
# mfschunkserver stop

在客戶端從新拷貝文件，
#cp /etc/inittab /mnt/mfs/hello1
#mfsgetgoal hello1/fstab        查看文件份數
#mfsgetgoal hello1/inittab

# mfsfileinfo inittab             剛開始只有一個chukserver，只能保存一份

開啓chunkserver
#mfschunkserver

# mfsfileinfo inittab             查看文件的備份數，恢復成chunkserver的數
inittab:
    chunk 0: 0000000000000006_00000001 / (id:6 ver:1)
        copy 1: 192.168.2.184:9422
        copy 2: 192.168.2.185:9422


注意:
在mfsmaster中，正常運行時，數據文件爲metadata.mfs.back
當主機出現故障，數據文件會保存成metadata.mfs

使用非正常關閉，(kill -9  pid) 數據文件將不會恢復

# mfsmetarestore -a-            非正常啓動後會丟失metadata.mfs文件，必須恢復一下 而後從新啓動mfsmaster(mfsmaster啓動必須有metadata.mfs文件)