分佈式文件系統之FastDFS安裝部署

　　前面咱們瞭解了分佈式文件系統mogilefs的框架以及安裝部署和簡單使用，回顧請參考https://www.cnblogs.com/qiuhom-1874/tag/MogileFS/；今天咱們來了解下FastDFS集羣的安裝部署；

　　FastDFS是由國人研發的一個輕量級分佈式文件系統，主要由tracker和storage兩部分組成，相比mogilefs它不依賴數據庫存儲文件的元數據信息；FastDFS利用文件路徑來避免了在tracker上存儲文件的元數據；而對於文件自己的元數據，是由storage節點自身維護，咱們能夠理解tracker只負責維護集羣的元數據，好比後端有哪些storage在線呀；對於用戶端要訪問某個文件或者上傳某個文件，首先客戶端仍是要向tracker發送文件上傳到請求，tracker收到請求後，而後根據後端storage週期性向它報告的心跳信息來判斷哪一個storage適合接受客戶端的文件上傳請求，而後trancker就把對應storage的ip地址和端口返回給客戶端，而後客戶端再向tracker返回的ip：port發送文件內容；在storage收到客戶端發送過來的上傳文件請求，它會向客戶端返回保存的文件的fid；一般這個fid是由group名稱/磁盤id/1級子目錄/2級子目錄/文件名哈希；而後再把客戶端發送過來的文件內容保存到選定的位置，而後通知組中的其餘節點同步數據；對於fastdfs來說，後端的storage是以組爲單位進行調度的，一個group中有多個storageserver組成，每一個storageserver間互相同步文件，使得在同一組中storageserver上的文件相同，從而實現了文件的冗餘；和mogilefs不一樣的是fastdfs的冗餘是基於storage節點來作的，而mogilefs是基於device來作的；下載文件的過程和上傳過程相似，首先client會想把下載請求發送給tracker，而後由tracker返回storage的ip：port，而後客戶端再向storage server發送文件下載請求，storage收到客戶端發送到文件下載請求後，在本地節點查找對應的文件，而後發送給客戶端；

　　FastDFS架構圖

　　提示：Tracker：調度器，負責維持集羣的信息，例如各group及其內部的storage node，這些信息也是storage node報告所生成；每一個storage node會週期性向tracker發心跳信息；storage server：以group爲單位進行組織，任何一個storage server都應該屬於某個group，一個group應該包含多個storage server；在同一個group內部，各storage server的數據互相冗餘；每一個storage server在文件存儲完成後，會將其信息存於binlog， binlog不包含數據，僅包含文件名等元數據信息；binlog可用於同步；

　　FastDFS集羣安裝部署

　　環境說明

名稱	角色	ip地址	端口
node01	tracker01	192.168.0.41	22122
node02	tracker02	192.168.0.42	22122
node03	storage node01/group1	192.168.0.43	23000
node04	storage node02/group1	192.168.0.44	23000

 

 

 

 

 

 

 

　　

　　所用到的包http://www.qiuhom.com/d/151dcb1c1599434bb3d1/；

　　全部節點時間同步

　　在全部節點安裝所須要的包

[root@node01 ~]# rz
rz waiting to receive.
 zmodem trl+C ȡ

  100%       1 KB    1 KB/s 00:00:01       0 Errorsentos.x86_64.rpm...
  100%     703 KB  703 KB/s 00:00:01       0 Errorsx86_64.rpm...
  100%     199 KB  199 KB/s 00:00:01       0 Errors_64.rpm...
  100%     128 KB  128 KB/s 00:00:01       0 Errors4.rpm...
  100%      96 KB   96 KB/s 00:00:01       0 Errors64.rpm...
  100%      33 KB   33 KB/s 00:00:01       0 Errorss.x86_64.rpm...
  100%      35 KB   35 KB/s 00:00:01       0 Errors64.rpm...
  100%      17 KB   17 KB/s 00:00:01       0 Errorss.x86_64.rpm...

[root@node01 ~]# ls
fastdfs-5.0.11-1.el7.centos.x86_64.rpm
fastdfs-debuginfo-5.0.11-1.el7.centos.x86_64.rpm
fastdfs-server-5.0.11-1.el7.centos.x86_64.rpm
fastdfs-tool-5.0.11-1.el7.centos.x86_64.rpm
libfastcommon-1.0.36-1.el7.centos.x86_64.rpm
libfastcommon-devel-1.0.36-1.el7.centos.x86_64.rpm
libfdfsclient-5.0.11-1.el7.centos.x86_64.rpm
libfdfsclient-devel-5.0.11-1.el7.centos.x86_64.rpm
[root@node01 ~]# yum -y install ./*.rpm
Loaded plugins: fastestmirror
Examining ./fastdfs-5.0.11-1.el7.centos.x86_64.rpm: fastdfs-5.0.11-1.el7.centos.x86_64
Marking ./fastdfs-5.0.11-1.el7.centos.x86_64.rpm to be installed
Examining ./fastdfs-debuginfo-5.0.11-1.el7.centos.x86_64.rpm: fastdfs-debuginfo-5.0.11-1.el7.centos.x86_64
Marking ./fastdfs-debuginfo-5.0.11-1.el7.centos.x86_64.rpm to be installed
Examining ./fastdfs-server-5.0.11-1.el7.centos.x86_64.rpm: fastdfs-server-5.0.11-1.el7.centos.x86_64
Marking ./fastdfs-server-5.0.11-1.el7.centos.x86_64.rpm to be installed
Examining ./fastdfs-tool-5.0.11-1.el7.centos.x86_64.rpm: fastdfs-tool-5.0.11-1.el7.centos.x86_64
Marking ./fastdfs-tool-5.0.11-1.el7.centos.x86_64.rpm to be installed
Examining ./libfastcommon-1.0.36-1.el7.centos.x86_64.rpm: libfastcommon-1.0.36-1.el7.centos.x86_64
Marking ./libfastcommon-1.0.36-1.el7.centos.x86_64.rpm to be installed
Examining ./libfastcommon-devel-1.0.36-1.el7.centos.x86_64.rpm: libfastcommon-devel-1.0.36-1.el7.centos.x86_64
Marking ./libfastcommon-devel-1.0.36-1.el7.centos.x86_64.rpm to be installed
Examining ./libfdfsclient-5.0.11-1.el7.centos.x86_64.rpm: libfdfsclient-5.0.11-1.el7.centos.x86_64
Marking ./libfdfsclient-5.0.11-1.el7.centos.x86_64.rpm to be installed
Examining ./libfdfsclient-devel-5.0.11-1.el7.centos.x86_64.rpm: libfdfsclient-devel-5.0.11-1.el7.centos.x86_64
Marking ./libfdfsclient-devel-5.0.11-1.el7.centos.x86_64.rpm to be installed
Resolving Dependencies
--> Running transaction check
---> Package fastdfs.x86_64 0:5.0.11-1.el7.centos will be installed
---> Package fastdfs-debuginfo.x86_64 0:5.0.11-1.el7.centos will be installed
---> Package fastdfs-server.x86_64 0:5.0.11-1.el7.centos will be installed
---> Package fastdfs-tool.x86_64 0:5.0.11-1.el7.centos will be installed
---> Package libfastcommon.x86_64 0:1.0.36-1.el7.centos will be installed
---> Package libfastcommon-devel.x86_64 0:1.0.36-1.el7.centos will be installed
---> Package libfdfsclient.x86_64 0:5.0.11-1.el7.centos will be installed
---> Package libfdfsclient-devel.x86_64 0:5.0.11-1.el7.centos will be installed
--> Finished Dependency Resolution

Dependencies Resolved

====================================================================================================
 Package           Arch   Version             Repository                                       Size
====================================================================================================
Installing:
 fastdfs           x86_64 5.0.11-1.el7.centos /fastdfs-5.0.11-1.el7.centos.x86_64             0.0  
 fastdfs-debuginfo x86_64 5.0.11-1.el7.centos /fastdfs-debuginfo-5.0.11-1.el7.centos.x86_64   5.1 M
 fastdfs-server    x86_64 5.0.11-1.el7.centos /fastdfs-server-5.0.11-1.el7.centos.x86_64      548 k
 fastdfs-tool      x86_64 5.0.11-1.el7.centos /fastdfs-tool-5.0.11-1.el7.centos.x86_64        1.0 M
 libfastcommon     x86_64 1.0.36-1.el7.centos /libfastcommon-1.0.36-1.el7.centos.x86_64       459 k
 libfastcommon-devel
                   x86_64 1.0.36-1.el7.centos /libfastcommon-devel-1.0.36-1.el7.centos.x86_64 143 k
 libfdfsclient     x86_64 5.0.11-1.el7.centos /libfdfsclient-5.0.11-1.el7.centos.x86_64       187 k
 libfdfsclient-devel
                   x86_64 5.0.11-1.el7.centos /libfdfsclient-devel-5.0.11-1.el7.centos.x86_64  98 k

Transaction Summary
====================================================================================================
Install  8 Packages

Total size: 7.5 M
Installed size: 7.5 M
Downloading packages:
Running transaction check
Running transaction test
Transaction test succeeded
Running transaction
  Installing : libfastcommon-1.0.36-1.el7.centos.x86_64                                         1/8 
  Installing : libfdfsclient-5.0.11-1.el7.centos.x86_64                                         2/8 
  Installing : libfdfsclient-devel-5.0.11-1.el7.centos.x86_64                                   3/8 
  Installing : fastdfs-server-5.0.11-1.el7.centos.x86_64                                        4/8 
  Installing : fastdfs-tool-5.0.11-1.el7.centos.x86_64                                          5/8 
  Installing : libfastcommon-devel-1.0.36-1.el7.centos.x86_64                                   6/8 
  Installing : fastdfs-5.0.11-1.el7.centos.x86_64                                               7/8 
  Installing : fastdfs-debuginfo-5.0.11-1.el7.centos.x86_64                                     8/8 
  Verifying  : fastdfs-server-5.0.11-1.el7.centos.x86_64                                        1/8 
  Verifying  : fastdfs-debuginfo-5.0.11-1.el7.centos.x86_64                                     2/8 
  Verifying  : fastdfs-tool-5.0.11-1.el7.centos.x86_64                                          3/8 
  Verifying  : fastdfs-5.0.11-1.el7.centos.x86_64                                               4/8 
  Verifying  : libfdfsclient-5.0.11-1.el7.centos.x86_64                                         5/8 
  Verifying  : libfastcommon-devel-1.0.36-1.el7.centos.x86_64                                   6/8 
  Verifying  : libfastcommon-1.0.36-1.el7.centos.x86_64                                         7/8 
  Verifying  : libfdfsclient-devel-5.0.11-1.el7.centos.x86_64                                   8/8 

Installed:
  fastdfs.x86_64 0:5.0.11-1.el7.centos           fastdfs-debuginfo.x86_64 0:5.0.11-1.el7.centos     
  fastdfs-server.x86_64 0:5.0.11-1.el7.centos    fastdfs-tool.x86_64 0:5.0.11-1.el7.centos          
  libfastcommon.x86_64 0:1.0.36-1.el7.centos     libfastcommon-devel.x86_64 0:1.0.36-1.el7.centos   
  libfdfsclient.x86_64 0:5.0.11-1.el7.centos     libfdfsclient-devel.x86_64 0:5.0.11-1.el7.centos   

Complete!
[root@node01 ~]# 

　　配置tracker

　　拷貝示例配置文件爲/etc/fdfs/tracker.conf

cp /etc/fdfs/tracker.conf.sample /etc/fdfs/tracker.conf

　　編輯配置tracker.conf

　　提示：修改base_path和max_connections這兩項便可，base_path=用於指定存放data數據和日誌文件的目錄，max_connections用於指定最大鏈接數；後面還有不少參數和選項都是能夠保持默認；

　　建立用於存放data數據和日誌文件的目錄（base_path指定的目錄，若是存在不用在建立）

　　啓動tracker

　　複製node01上的tracker配置文件到node02的/etc/fdfs/目錄下

　　在node02上建立對應目錄而後啓動tracker

　　到此兩個tracker節點就配置並啓動完成；

　　配置storage 

　　提示：pase_path用於指定存放data和logs的目錄，後面的max_connections能夠根據業務規模去設定；

　　提示：store_path_count用於指定磁盤個數，默認是1；store_path0用於指定第0快磁盤對應的目錄，若是有多塊這裏能夠寫多個；subdir_count_per_path用於指定一級子目錄和二級子目錄的目錄個數，這個值取值範圍是1-256，默認是256個；tracker_server用於指定tracker的地址，能夠寫多個，用逗號隔開；storage節點設置以上內容就能夠了；最上面有個group_name用於指定對應所屬那個組，默認是group1，若是有多個組能夠設定其加入那個組；

　　在node03上建立base_path和store_path0所指定的目錄，而後啓動storage

　　把node03上的storage配置文件複製到node04上，而後在node04上建立對應的目錄，啓動storage

　　到此整個集羣的tracker和storage節點就搭建並啓動完成

　　測試：使用fdfs_test上傳文件，看看是否可以將文件上傳上去？

　　提示：fdfs_test工具上傳文件須要提供配置文件，而後加選項工做；

　　配置客戶端配置文件

　　提示：在client.conf中明確配置tracker的地址base_path便可；

　　使用fdfs_test 上傳文件

　　提示：上傳文件上傳完成了，返回給咱們一個http的鏈接，其實這個鏈接是沒法訪問的，由於在storage上沒有提供http服務；須要手動安裝nginx進行反代；從上面返回的信息能夠了解到，文件存儲到192.168.0.43上去了；咱們去對應節點上找對應的文件，看看是不是咱們上傳的文件內容；

　　在node03上查看上傳的文件

　　提示：能夠看到在node03上的磁盤目錄下可以找到對應的文件，而且文件內容也是咱們上傳到文件內容；

　　驗證：在node04的對應目錄看看是否有相同的文件？

　　提示：能夠看到node04上也有同node03如出一轍的文件；這說明在node03接收完客戶端上傳的文件後，通知node04過來同步了；

　　測試：使用fdfs_test 下載文件

　　提示：能夠看到下載文件也是沒有問題；而且它還告訴咱們對應的存儲節點上192.168.0.44：23000；

　　提示：咱們屢次下載同一個文件，它默認會從後端的group1中以輪詢的方式去storage節點下載對應的文件；

　　爲storage節點提供nginx反代，讓其可以直接經過客戶端返回的url訪問文件內容

　　下載nginx源碼包和支持fastdfs的第三方模塊

　　提示：nginx源碼包去nginx官方網站下載便可，支持fastdfs第三方模塊能夠去https://github.com/happyfish100/fastdfs-nginx-module/archive/V1.20.tar.gz下載；

　　安裝編譯環境

 yum groupinstall -y "Development Tools"

　　提示：在全部storage節點上安裝好編譯換，方便後面再編譯nginx；

　　安裝依賴包

yum install pcre-devel openssl-devel zlib-devel  libxslt-devel gd-devel  perl-ExtUtils-Embed geoip-devel  -y

　　建立nginx用戶

useradd -rs /sbin/nologin nginx

　　提示：以上幾步都在全部的storage上執行；

　　解壓nginx源碼包和第三方模塊源碼包，並進入到nginx源碼包下

　　進行預編譯環境檢查

./configure \
--prefix=/usr/share/nginx \
--sbin-path=/usr/sbin/nginx \
--modules-path=/usr/lib64/nginx/modules \
--conf-path=/etc/nginx/nginx.conf \
--error-log-path=/var/log/nginx/error.log \
--http-log-path=/var/log/nginx/access.log \
--http-client-body-temp-path=/var/lib/nginx/tmp/client_body \
--http-proxy-temp-path=/var/lib/nginx/tmp/proxy \
--http-fastcgi-temp-path=/var/lib/nginx/tmp/fastcgi \
--http-uwsgi-temp-path=/var/lib/nginx/tmp/uwsgi \
--http-scgi-temp-path=/var/lib/nginx/tmp/scgi \
--pid-path=/var/run/nginx.pid \
--lock-path=/var/lock/subsys/nginx \
--user=nginx \
--group=nginx \
--with-file-aio \
--with-ipv6 \
--with-http_ssl_module \
--with-http_v2_module \
--with-http_realip_module \
--with-http_addition_module \
--with-http_xslt_module=dynamic \
--with-http_image_filter_module=dynamic \
--with-http_geoip_module=dynamic \
--with-http_sub_module \
--with-http_dav_module \
--with-http_flv_module \
--with-http_mp4_module \
--with-http_gunzip_module \
--with-http_gzip_static_module \
--with-http_random_index_module \
--with-http_secure_link_module \
--with-http_degradation_module \
--with-http_slice_module \
--with-http_stub_status_module \
--with-http_perl_module=dynamic \
--with-mail=dynamic \
--with-mail_ssl_module \
--with-pcre --with-pcre-jit \
--with-stream=dynamic \
--with-stream_ssl_module \
--with-debug \
--with-cc-opt='-O2 -g -pipe -Wall -Wp,-D_FORTIFY_SOURCE=2 -fexceptions -fstack-protector --param=ssp-buffer-size=4 -m64 -mtune=generic' \
--with-ld-opt=' -Wl,-E' \
--add-module=../fastdfs-nginx-module-1.20/src/

　　提示：若是預編譯環境檢查有提示錯誤，一般是系統環境缺乏某些devel包致使的，安裝對應的devel包便可解決；

　　提示：提示以上信息就表示編譯環境知足編譯需求；

　　編譯安裝

 make -j 4 && make install 

　　提示：以上錯誤說common_define.h沒有找到，解決辦法修改fastdfs-niginx-module-1.20/src/下的config文件內容；

　　提示：把上面註釋掉內容修改爲紅色框裏的內容，而後保存，從新預編譯檢查環境生成makefile;而後再次編譯；

　　提示：從新configure後再次編譯安裝就沒有出現什麼錯誤；到此nginx的編譯安裝就完成了；

　　複製fastdfs-nginx-module-1.20/src/mod_fastdfs.conf 到/etc/fdfs/目錄下

　　編輯mod_fastdfs.conf

　　提示：mod_fastdfs.conf文件主要修改base_path、tracker_server、store_path0 ... log_filename這四個參數；

　　在對應目錄下建立日誌文件，並把屬組和屬主修改爲nginx用戶

[root@node03 fdfs]# touch /var/log/nginx/mod_fastdfs.log
[root@node03 fdfs]# chown -R nginx.nginx /var/log/nginx/mod_fastdfs.log

　　配置nginx代理本地的M00

　　驗證nginx的配置文件語法

　　提示：這裏提示咱們缺乏目錄；解決辦法建立對應的目錄，而且把屬組和屬主修改成nginx用戶；

　　提示：能夠看到nginx已進起來了；

　　驗證：上傳圖片，而後用nginx去訪問對應的rul看看是否可以訪問到對應的圖片？

　　提示：這裏上傳圖片成功，並返回圖片名；雖然它這裏給咱們返回的是192.168.0.44的地址，可是node03和node04在同一個組中，因此咱們訪問node03上對應文件名稱也是可以訪問到對應文件內容的；

　　使用瀏覽器訪問192.168.0.43/M00/00/00/wKgALF9l4TWAE81tAA6q2wjnW8s693.jpg，看看是否訪問到咱們上傳到圖片？

　　提示：能夠看到訪問node03上的對應文件名是能夠訪問到咱們上傳到文件；說明在node03上基於nginx反代fastdfs是成功的；

　　驗證：在node01上抓包，看看node03和node04是否在週期性的報告本身的心跳信息？

　　提示：能夠看到node03和node04在給node01發送本身的心跳信息；