分佈式文件系統之MogileFS工做原理及實現過程

時間 2019-11-10

原文原文鏈接

MogileFS是一套高效的文件自動備份組件，由Six Apart開發，普遍應用在包括LiveJournal等web2.0站點上。
MogileFS由3個部分組成：
第1個部分：是server端，包括mogilefsd和mogstored兩個程序。前者便是mogilefsd的tracker，它將一些全局信息保存在數據庫裏，例如站點domain,class,host等。後者便是存儲節點(store node)，它實際上是個HTTP Daemon，默認偵聽在7500端口，接受客戶端的文件備份請求。在安裝完後，要運行mogadm工具將全部的store node註冊到mogilefsd的數據庫裏，mogilefsd會對這些節點進行管理和監控。
第2個部分：是utils（工具集），主要是MogileFS的一些管理工具，例如mogadm等。
第3個部分：是客戶端API，目前只有Perl API(MogileFS.pm)、PHP，用這個模塊能夠編寫客戶端程序，實現文件的備份管理功能,提供MogileFS.pm。html

當下互聯網飛速發展，海量併發所產生的數據量以幾何方式增加，隨着信息連接方式日益多樣化，數據存儲的結構也發生了變化，在這樣的壓力下咱們不得不從新審視大量數據的存儲所帶來了巨大的挑戰：
一、數據採集：對於社交網站通常都是由用戶上傳的；
二、數據存儲：如今是數據量大爆炸時代，天天都會產生大量的數據，因此數據存儲就成了一個大問題；
三、數據搜索：若是說存儲是考驗數據的存儲能力的話，那搜索就是考量計算機能力了，從大量的數據中搜索出來；
四、數據共享：數據存儲下來以後還要進行數據的共享問題，大量的數據該怎麼共享這些數據呢；
五、數據傳輸：而海量數據存儲下來以後數據怎麼用戶與用戶之間進行安全的傳輸；
六、數據分析：數據的分析是瞭解咱們過去的一些行爲規範；
七、數據可視化：而海量數據存儲下來以後怎麼樣能夠直觀的展現在人們面前呢；前端

分佈式文件系統的幾個難點：
一、缺少全局時鐘、不過同步自己就存在時間差，很難作到步調一致，
二、面對故障的獨立性，分佈式是由多個節點組成的，而每一個節點都是獨立工做的，一個節佔故障度不會影響其它節點正常工做，
三、如何去處理單點故障，一是：作冗餘，對單點作備份；二是：下降單點故障的影響範圍
四、事務類的挑戰，在分佈環境中怎麼處理事務呢；ACID或2PI(兩段式提交)、最終一致、BASE法則、CAP理論、Paxos算法；node

什麼是兩段式提交：
經過使用某種協議進行通訊來完成分佈式事務，被稱爲兩段式提交。從名字上看，您可能已經知道有兩個階段：
第一個階段，即預提交：
事務協調器給每一個事務管理器發送準備操做的信號。
事務管理器將操做（一般是數據更新）步驟（或細節）寫入事務日誌。若是失敗，事務管理器使用這些步驟重複操做。
事務管理器本地建立事務並通知資源管理器對資源（例如，數據庫或消息服務器）執行操做。
資源管理器執行操做並向事務管理器報告成功（準備提交信號）或失敗（準備回滾）。
資源管理器等待事務管理器進一步的指令。
事務管理器向事務協調器報告成功或失敗。
第二階段，即提交階段：在第二階段中，第一階段的結果將傳送給全部事務管理器。mysql

若是任何事務管理器報告失敗，全部的事務參與者都必須回滾。
事務協調器讓全部事務管理器提交（或回滾）。
全部事務管理器將提交或回滾信息傳遞給其資源管理器。
資源管理器將成功或失敗提示返回給事務管理器。
事務管理器向事務協調器報告成功或失敗。linux

CAP理論：一致性，可用性，分區容錯性；指一個分佈式系統不能夠知足一致性，可用性和分區容錯性這三個需求，最多隻能同時知足其中的兩個；
C(Consistency)：一致性，任何一個讀操做老是可以讀取以前完成的寫操做；就是一個數據寫入一立馬被讀到；
A(Availability)：可用性，每一次操做老是可以在肯定的時間返回；不管成功或失敗都能收到一個返回值的；
P(Tolerance of network Partition)：分區容錯性，在出現網絡分區的狀況下，仍然可以知足一致性和可用性；nginx

BASE法則模型反ACID模型，徹底不一樣ACID模型，犧牲高一致性，得到可用性或可靠性：
BA：Basically Available，基本能夠用，支持分區失敗(sharding碎片劃分數據庫)；
S：Soft state，軟狀態，接受一段時間內的狀態不一樣步，異步；
E：Eventually consistent：最終一致性，弱一致性的表現；
BASE思想主要強調基本的可用性，若是你須要High 可用性，也就是純粹的高性能，那麼就要以一致性或容錯性爲犧牲，BASE思想的方案在性能上仍是有潛力可挖的。web

Paxos算法：比2PC提交更輕量級的分佈式事務的協調方式；大概是指不出現故拜占庭將軍的前提下，要取得數據的一致性，在通訊信道不安全的時候，咱們數據傳輸可能會被人劫持，這樣就不能保證數據的可信了，因此必須保證通訊信道安全下Paxos算法纔可行；算法

實現MogileFS的分佈式過程，按照下圖構建MogileFS分佈式文件系統的結構，這裏限於機器的緣由，一些服務都整合在一塊兒；sql

第一步：安裝MogileFS軟件，咱們前面提到，它是由三部分組成，因此三個組件都得安裝上，而且每一個節點都作MogileFS和Mogstored；數據庫

在這裏先說一個筆者的基本佈局，node0(172.16.27.88)上安裝nginx和MariaDB，node1(172.16.27.1)和node2(172.16.27.2)上分別安裝了MogileFS和Mogstored，node1和node2都共同使用node0上的MariaDB數據庫，nginx作爲前端接收用戶請求並負載均衡到後端兩個節點上；

在node1上的安裝和配置過程，修改好配置文件以後複製一份相同的配置文件到node2節點上，由於它們的配置參數都是同樣的：

[root@node1 ~]# rpm -ivh perl-MogileFS-Client-1.14-1.el6.noarch.rpm perl-Net-Netmask-1.9015-8.el6.noarch.rpm perl-Perlbal-1.78-1.el6.noarch.rpm

[root@node1 ~]# yum -y install MogileFS-Server-mogstored-2.46-2.el6.noarch.rpm MogileFS-Utils-2.19-1.el6.noarch.rpm MogileFS-Server-2.46-2.el6.noarch.rpm MogileFS-Server-mogilefsd-2.46-2.el6.noarch.rpm perl-IO-AIO

# 安裝好以後修改配置文件，只須要修改如下幾項就能夠了

# mysql指使用的數據庫是什麼，MariaDB也是寫mysql；mogdb指數據庫名；host=172.16.27.88指定安裝數據的地址

[root@node1 ~]# vim /etc/mogilefs/mogilefsd.conf

db_dsn = DBI:mysql:mogdb:host=172.16.27.1
db_user = moguser # 指登陸mogdb數據所使用的用戶名

db_pass = linux # 登陸mogdb數據所使用密碼

listen = 0.0.0.0:7001 # 0.0.0.0表示監聽全部地址

# 再編輯mogstored.conf這個配置文件

maxconns = 10000
httplisten = 0.0.0.0:7500
mgmtlisten = 0.0.0.0:7501
docroot = /dfs/mogdata # 把這項改一個特定的目錄，以便存儲數據，最好是一個獨立分區

[root@node1 ~]# mkdir -pv /dfs/mogdata/dev1 # 建立修改的docroot目錄

[root@node1 ~]# chown -R mogilefs.mogilefs /dfs/mogdata/dev1 # 修改屬主屬組

[root@node1 ~]# chown -R mogilefs.mogilefs /var/run/mogilefsd/

[root@node1 ~]# cd /etc/mogilefs

[root@node1 ~]# scp mogilefsd.conf mogstored.conf root@172.16.27.2:/etc/mogilefs/ # 複製修改好的配置文件到node2的mogilefs目錄下，覆蓋便可，兩個節點都安裝配置好以後先不要啓動服務，數據庫尚未安裝

在node2上的安裝和配置，這裏的配置文件由node1上覆制過來就能夠了；

[root@node2 ~]# rpm -ivh perl-MogileFS-Client-1.14-1.el6.noarch.rpm perl-Net-Netmask-1.9015-8.el6.noarch.rpm perl-Perlbal-1.78-1.el6.noarch.rpm

[root@node2 ~]# yum -y install MogileFS-Server-mogstored-2.46-2.el6.noarch.rpm MogileFS-Utils-2.19-1.el6.noarch.rpm MogileFS-Server-2.46-2.el6.noarch.rpm MogileFS-Server-mogilefsd-2.46-2.el6.noarch.rpm perl-IO-AIO

[root@node2 ~]# mkdir -pv /dfs/mogdata/dev2 # 建立修改的docroot目錄

[root@node1 ~]# chown -R mogilefs.mogilefs /var/run/mogilefsd/

[root@node2 ~]# chown -R mogilefs.mogilefs /dfs/mogdata/dev2 # 修改屬主屬組

第二步：安裝nginx和MariaDB，這裏安裝Nginx須要編譯安裝，由於他須要裝載第三方模塊纔可使用mogilefs，MariaDB安裝這裏就再也不說明了；

在node0節點上的安裝步驟：

# 解決依賴關係

[root@node0 ~]# yum -y groupinstall "Development Tools" "Server Platform Development"

[root@node0 ~]# yum -y install openssl-devel pcre-devel

[root@node0 ~]# groupadd -r nginx
[root@node0 ~]# useradd -r -g nginx nginx
[root@node0 ~]# tar xf nginx-1.4.2.tar.gz

[root@node0 ~]# unzip nginx-mogilefs-module-master.zip

[root@node0 ~]# cd nginx-1.4.2
[root@node0 nginx-1.4.2]# ls
auto CHANGES CHANGES.ru conf configure contrib html LICENSE man README src
[root@node0 nginx-1.4.2]# ./configure \
> --prefix=/usr \
> --sbin-path=/usr/sbin/nginx \
> --conf-path=/etc/nginx/nginx.conf \
> --error-log-path=/var/log/nginx/error.log \
> --http-log-path=/var/log/nginx/access.log \
> --pid-path=/var/run/nginx/nginx.pid \
> --lock-path=/var/lock/nginx.lock \
> --user=nginx \
> --group=nginx \
> --with-http_ssl_module \
> --with-http_flv_module \
> --with-http_stub_status_module \
> --with-http_gzip_static_module \
> --http-client-body-temp-path=/var/tmp/nginx/client/ \
> --http-proxy-temp-path=/var/tmp/nginx/proxy/ \
> --http-fastcgi-temp-path=/var/tmp/nginx/fcgi/ \
> --http-uwsgi-temp-path=/var/tmp/nginx/uwsgi \
> --http-scgi-temp-path=/var/tmp/nginx/scgi \
> --with-pcre \
> --with-debug \
> --add-module=/root/nginx-mogilefs-module-master # 這裏要指定編譯的模塊

[root@node0 nginx-1.4.2]# make && make install

# 這裏MariaDB安裝過程再也不說明了，能夠參數前面的博文，編譯安裝好以後就能夠能夠啓動MariaDB和去配置Nginx的相關配置了，還要給nginx提供一個服務腳本；

[root@node0 support-files]# service mysqld start
Starting MySQL... [ OK ]

[root@node0 nginx-1.4.2]# vim /etc/rc.d/init.d/nginx

#!/bin/sh
#
# nginx - this script starts and stops the nginx daemon
#
# chkconfig: - 85 15
# description: Nginx is an HTTP(S) server, HTTP(S) reverse \
# proxy and IMAP/POP3 proxy server
# processname: nginx
# config: /etc/nginx/nginx.conf
# config: /etc/sysconfig/nginx
# pidfile: /var/run/nginx.pid

# Source function library.
. /etc/rc.d/init.d/functions

# Source networking configuration.
. /etc/sysconfig/network

# Check that networking is up.
[ "$NETWORKING" = "no" ] && exit 0

nginx="/usr/sbin/nginx"
prog=$(basename $nginx)

NGINX_CONF_FILE="/etc/nginx/nginx.conf"

[ -f /etc/sysconfig/nginx ] && . /etc/sysconfig/nginx

lockfile=/var/lock/subsys/nginx

make_dirs() {
# make required directories
user=`nginx -V 2>&1 | grep "configure arguments:" | sed 's/[^*]*--user=$[^ ]*$.*/\1/g' -`
options=`$nginx -V 2>&1 | grep 'configure arguments:'`
for opt in $options; do
if [ `echo $opt | grep '.*-temp-path'` ]; then
value=`echo $opt | cut -d "=" -f 2`
if [ ! -d "$value" ]; then
# echo "creating" $value
mkdir -p $value && chown -R $user $value
fi
fi
done
}

start() {
[ -x $nginx ] || exit 5
[ -f $NGINX_CONF_FILE ] || exit 6
make_dirs
echo -n $"Starting $prog: "
daemon $nginx -c $NGINX_CONF_FILE
retval=$?
echo
[ $retval -eq 0 ] && touch $lockfile
return $retval
}

stop() {
echo -n $"Stopping $prog: "
killproc $prog -QUIT
retval=$?
echo
[ $retval -eq 0 ] && rm -f $lockfile
return $retval
}

restart() {
configtest || return $?
stop
sleep 1
start
}

reload() {
configtest || return $?
echo -n $"Reloading $prog: "
killproc $nginx -HUP
RETVAL=$?
echo
}

force_reload() {
restart
}

configtest() {
$nginx -t -c $NGINX_CONF_FILE
}

rh_status() {
status $prog
}

rh_status_q() {
rh_status >/dev/null 2>&1
}

case "$1" in
start)
rh_status_q && exit 0
$1
;;
stop)
rh_status_q || exit 0
$1
;;
restart|configtest)
$1
;;
reload)
rh_status_q || exit 7
$1
;;
force-reload)
force_reload
;;
status)
rh_status
;;
condrestart|try-restart)
rh_status_q || exit 0
;;
*)
echo $"Usage: $0 {start|stop|status|restart|condrestart|try-restart|reload|force-reload|configtest}"
exit 2
esac

[root@node0 nginx-1.4.2]# chmod +x /etc/init.d/nginx

[root@node0 nginx-1.4.2]# vim /etc/profile.d/nginx.sh

export PATH=/usr/sbin/nginx:$PATH

[root@node0 nginx-1.4.2]# . /etc/profile.d/nginx.sh

[root@node0 nginx-1.4.2]# service nginx start
Starting nginx: [ OK ]

[root@node0 nginx-1.4.2]# ss -tnl
State Recv-Q Send-Q Local Address:Port Peer Address:Port
LISTEN 0 128 :::111 :::*
LISTEN 0 128 *:111 *:*
LISTEN 0 128 *:80   *:*

測試訪問一下nginx的頁面：

第三步：鏈接上數據庫，給兩個用戶受權：

[root@node0 ~]# mysql -uroot -p
Enter password:
Welcome to the MariaDB monitor. Commands end with ; or \g.
Your MariaDB connection id is 46
Server version: 10.0.10-MariaDB-log MariaDB Server

Copyright (c) 2000, 2014, Oracle, SkySQL Ab and others.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

MariaDB [(none)]> USE mysql;

Database changed

MariaDB [mysql]> GRANT ALL ON *.* TO 'root'@'172.16.%.%' IDENTIFIED BY 'linux';
Query OK, 0 rows affected (0.20 sec)

MariaDB [mysql]> GRANT ALL ON mogdb.* TO 'moguser'@'172.16.%.%' IDENTIFIED BY 'linux';
Query OK, 0 rows affected (0.00 sec)

MariaDB [mysql]> FLUSH PRIVILEGES;
Query OK, 0 rows affected (0.21 sec)

MariaDB [mysql]>

第四步：再到兩個節點上，在其中一個上設置便可：

[root@node1 mogilefs]# mogdbsetup --dbhost=172.16.27.88 --dbport=3306 --dbname=mogdb --dbrootuser=root --dbrootpass=linux --dbuser=moguser --dbpass=linux --yes

# 能夠再回到node0上查看一下生成的數據庫

MariaDB [mysql]> USE mogdb;
Database changed

第五步：在兩個節點的其中一個上添加主機：

[root@node1 ~]# mogadm --trackers=172.16.27.1:7001 host add 172.16.27.1 --ip=172.16.27.1 --status=alive
[root@node1 ~]# mogadm --trackers=172.16.27.1:7001 host add 172.16.27.2 --ip=172.16.27.2 --status=alive
[root@node1 mogilefs]# mogadm --trackers=172.16.27.1:7001 host list
172.16.27.1 [1]: alive
IP: 172.16.27.1:7500

172.16.27.2 [2]: alive

IP: 172.16.27.2:7500

# 再添加設備

[root@node1 mogilefsd]# mogadm --trackers=172.16.27.1:7001 device add 172.16.27.1 1
[root@node1 mogilefsd]# mogadm --trackers=172.16.27.1:7001 device add 172.16.27.2 2
[root@node1 mogilefsd]# mogadm --trackers=172.16.27.1:7001 device list
172.16.27.1 [1]: alive
used(G) free(G) total(G) weight(%)
dev1: alive 2.799 15.887 18.686 100

172.16.27.2 [2]: alive
used(G) free(G) total(G) weight(%)
dev2: alive 1.476 17.210 18.686 100

[root@node1 ~]# mogadm --trackers=172.16.27.1:7001 domain add images # 添加域
[root@node1 ~]# mogadm --trackers=172.16.27.1:7001 domain add files
[root@node1 ~]# mogadm --trackers=172.16.27.1:7001 domain add html
[root@node1 ~]# mogadm --trackers=172.16.27.1:7001 domain list # 查看域

domain class mindevcount replpolicy hashtype
-------------------- -------------------- ------------- ------------ -------
files default 2 MultipleHosts() NONE

html default 2 MultipleHosts() NONE

images default 2 MultipleHosts() NONE

[root@node1 ~]# mogadm --trackers=172.16.27.1:7001 class add images class0 --mindevcount=2
[root@node1 ~]# mogadm --trackers=172.16.27.1:7001 class list
domain class mindevcount replpolicy hashtype
-------------------- -------------------- ------------- ------------ -------
files default 2 MultipleHosts() NONE

html default 2 MultipleHosts() NONE

images class0 2 MultipleHosts() NONE #添加類
images default 2 MultipleHosts() NONE
# 上傳幾張圖片和測試的頁面上去
[root@node1 ~]# mogupload --trackers=172.16.27.1:7001 --domain=images --key='1.png' --file='/usr/share/backgrounds/default_1920x1200.png'
[root@node1 ~]# mogupload --trackers=172.16.27.1:7001 --domain=images --key='2.png' --file='/usr/share/backgrounds/wallpaper-six-2560x1240.png'

[root@node1 ~]# mogupload --trackers=172.16.27.1:7001 --domain=images --key='/images/3.png' --file='/usr/share/backgrounds/centos_wallpaper_01_1920x1200.png'

[root@node1 ~]# mogupload --trackers=172.16.27.1:7001 --domain=html --key='/files/index.html' --file='/var/www/html/index.html'
[root@node1 ~]# mogupload --trackers=172.16.27.1:7001 --domain=files --key='/files/index.html' --file='/var/www/html/index.html'

[root@node1 ~]# moglistkeys --trackers=172.16.27.1:7001 --domain=images
/images/3.png
1.png
2.png
[root@node1 ~]# mogfileinfo --trackers=172.16.27.1:7001 --domain=images --key='/images/3.png'
- file: /images/3.png
class: default
devcount: 2
domain: images
fid: 5
key: /images/3.png
length: 202652
- http://172.16.27.2:7500/dev2/0/000/000/0000000005.fid
- http://172.16.27.1:7500/dev1/0/000/000/0000000005.fid
[root@node1 ~]# mogfileinfo --trackers=172.16.27.1:7001 --domain=files --key='/files/index.html'
- file: /files/index.html
class: default
devcount: 2
domain: files
fid: 9
key: /files/index.html
length: 53
- http://172.16.27.2:7500/dev2/0/000/000/0000000009.fid
- http://172.16.27.1:7500/dev1/0/000/000/0000000009.fid
[root@node1 ~]#

能夠複製這個地址在頁面上測試一下，這裏是每上傳一個文件就都會在兩個節點是都存一份，若是節點多的話它會根據定義的devcount本身選擇節點存儲幾份，這樣在一個節點掉了也能夠在別的節點在有相同的資源可用；

第五步：以上的都配置好了就能夠在前端的Nginx上配置訪問控制了，修改配置文件：

[root@node0 nginx]# vim nginx.conf

upstream mogcluster { # 定義多個上游服務器
server 172.16.27.1:7001;
server 172.16.27.2:7001;
}
server { # 定義一個虛擬主機
listen 80;
server_name www.tanxw.com;

location /images/ {
mogilefs_tracker mogcluster;
mogilefs_domain images;

mogilefs_pass {
proxy_pass $mogilefs_path;
proxy_hide_header Content-Type;
proxy_buffering off;
}
}
location ~* ^(/files/.*)$ {
mogilefs_tracker mogcluster;
mogilefs_domain files;

mogilefs_pass $1 {
proxy_pass $mogilefs_path;
proxy_hide_header Content-Type;
proxy_buffering off;
}
}
}

# 修改好配置文件後保存退出重啓服務

[root@node0 nginx]# service nginx restart
nginx: the configuration file /etc/nginx/nginx.conf syntax is ok
nginx: configuration file /etc/nginx/nginx.conf test is successful
Stopping nginx: [ OK ]
Starting nginx: [ OK ]
[root@node0 nginx]#

而後在頁面上測試訪問剛纔上傳的文件以及圖片：

總結：

最後還能夠測試一下把一個節點掉了，試着訪問一下看另外正常工做的節點可不能夠正常提供服務，這裏還能夠添加不少功能的，後續還會更新相關的基礎網站服務器架構搭建的文章，在此，若是發如今什麼不妥或作得不到的還望你們多提點建議。

本文出自「溫水煮青蛙」博客，請務必保留此出處http://tanxw.blog.51cto.com/4309543/1409362