FastDFS分佈式文件系統搭建

內容要點

FastDFS簡介

FastDFS搭建

FastDFS經常使用命令

1、簡介：

一、FastDFS是一個開源的輕量級分佈式文件系統，它對文件進行管理，功能包括：文件存儲、文件同步、文件訪問（文件上傳、文件下載）等，解決了大容量存儲和負載均衡的問題。特別適合以文件爲載體的在線服務，如相冊網站、視頻網站等等。

二、FastDFS爲互聯網量身定製，充分考慮了冗餘備份、負載均衡、線性擴容等機制，並注重高可用、高性能等指標，使用FastDFS很容易搭建一套高性能的文件服務器集羣提供文件上傳、下載等服務。

三、FastDFS服務端有兩個角色：

（1）跟蹤器（tracker）：跟蹤器主要作調度工做；
（2）存儲節點（storage）：在訪問上起負載均衡的做用。

存儲節點存儲文件，完成文件管理的全部功能：就是這樣的存儲、同步和提供存取接口，FastDFS同時對文件的metadata進行管理。所謂文件的meta data就是文件的相關屬性，以鍵值對（key value）方式表示。

四、爲了支持大容量，存儲節點（服務器）採用了分卷（或分組）的組織方式。存儲系統由一個或多個卷組成，卷與卷之間的文件是相互獨立的，全部卷的文件容量累加就是整個存儲系統中的文件容量。一個卷能夠由一臺或多臺存儲服務器組成，一個卷下的存儲服務器中的文件都是相同的，卷中的多臺存儲服務器起到了冗餘備份和負載均衡的做用。

（1）在卷中增長服務器時，同步已有的文件由系統自動完成，同步完成後，系統自動將新增服務器切換到線上提供服務；

（2）當存儲空間不足或即將耗盡時，能夠動態添加捲。只須要增長一臺或多臺服務器，並將它們配置爲一個新的卷，這樣就擴大了存儲系統的容量；

（3）FastDFS中的文件標識分爲兩個部分：卷名和文件名，兩者缺一不可。

2、搭建 FastDFS：

準備兩臺虛擬機，一臺爲 DFS端，一臺爲 storage端。	主機名	IP地址	主要軟件
tracker	192.168.50.139	libfastcommon、fastd
storage	192.168.50.140	libfastcommon

第一步：安裝 libfastcommon（全部節點都須要）

一、安裝環境包：

yum -y install libevent  libevent-devel perl  make gcc zlib  zlib-devel pcre pcre-devel  gcc-c++  openssl-devel

二、安裝libfastcommon：

wget https://github.com/happyfish100/libfastcommon/archive/V1.0.38.tar.gz

tar zxf V1.0.38.tar.gz -C /opt/
cd /opt/libfastcommon-1.0.38/
./make.sh && ./make.sh install

三、建立軟鏈接：

ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so
ln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so
ln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so

第二步：安裝 FastDFS：

wget https://github.com/happyfish100/fastdfs/archive/V5.11.tar.gz

tar zxf V5.11.tar.gz -C /opt/
cd /opt/fastdfs-5.11/
./make.sh && ./make.sh install

[root@localhost fdfs]# ls
client.conf.sample       //客戶端上傳配置文件（模板）
storage.conf.sample      //文件存儲服務器配置文件（模板）
tracker.conf.sample      //負責均衡調度服務器配置文件（模板）

複製配置文件：
cp tracker.conf.sample tracker.conf
cp storage.conf.sample storage.conf
cp client.conf.sample client.conf

第三步：tracker 端修改

一、tracker監控端（能夠有多個），創建數據、日誌存放目錄：

mkdir -m 755 -p /opt/fastdfs

二、修改 tracker配置文件：

vim /etc/fdfs/tracker.conf
增改如下內容：
port=22122 
base_path=/opt/fastdfs       //tracker存儲data和log的跟路徑，必須提早建立好
http.server_port=8080        //tracker服務器上啓動http服務進程（沒裝忽略）

三、開啓服務：

fdfs_trackerd /etc/fdfs/tracker.conf start   //啓動服務
netstat -atnp | grep 22122       //查看端口是否正常開啓
tcp        0      0 0.0.0.0:22122           0.0.0.0:*               LISTEN      43776/fdfs_trackerd

四、設置開啓自啓動：

vim  /etc/rc.local
#末行添加：
fdfs_trackerd   /etc/fdfs/tracker.conf start

第四步：storage 端修改

#storage數據存儲端（能夠有多個）
#創建數據、日誌存放目錄
mkdir -m 777 -p /opt/fastdfs

#修改storage配置文件
vim /etc/fdfs/storage.conf
group_name=group1          #默認組名，根據實際狀況修改
port=23000                 #storge默認23000，同一個組的storage端口號必須一致
base_path=/opt/fastdfs     #storage日誌文件的根路徑
store_path_count=1          #與下面路徑個數相同，默認爲1
store_path0=/opt/fastdfs        #提供的存儲路徑（默認與日誌文件存放在一塊兒）
tracker_server=192.168.50.140:22122      #本身的tracker服務器IP（重點！！！）
http.server_port=80（http訪問文件的端口默認爲8888，nginx中配置的監聽端口保持一致）

#開啓服務
fdfs_storaged  /etc/fdfs/storage.conf start
netstat -atnp | grep 23000
tcp        0      0 0.0.0.0:23000           0.0.0.0:*               LISTEN      40430/fdfs_storaged

#開機自啓tracker
vim  /etc/rc.local
#末行添加
fdfs_storaged  /etc/fdfs/storage.conf start 

#檢查是否與tracker關聯成功
fdfs_monitor /etc/fdfs/storage.conf
Storage 1:
                id = 192.168.50.140
                ip_addr = 192.168.50.140 (storage)  ACTIVE

第五步：storage 端安裝 nginx

#解壓nginx安裝包
tar zxf nginx-1.12.0.tar.gz -C /opt/

#下載fastdfs-nginx-module安裝包
wget https://github.com/happyfish100/fastdfs-nginx-module/archive/V1.20.tar.gz
tar zxf V1.20.tar.gz -C /opt/

#編譯安裝nginx
./configure \
--prefix=/usr/local/nginx \
--add-module=/opt/fastdfs-nginx-module-1.20/src/        #fastdfs-nginx-module模塊

make && make instal

l

第六步：配置 Nginx 和 fastdfs-nginx-module 模塊

cd fastdfs-nginx-module-1.20/src

cp mod_fastdfs.conf /etc/fdfs/

#修改fastdfs-nginx-module模塊配置文件mod-fasts.conf
vim mod_fastdfs.conf
base_path=/opt/fastdfs         #存放數據文件、日誌的路徑
tracker_server=192.168.50.140:22122    #tracker端的地址（重點！！！）
url_have_group_name = true  #url是否包含group名稱
storage_server_port=23000 #須要和storage配置的相同
store_path_count=1  #存儲路徑個數，須要和store_path個數匹配
store_path0=/opt/fastdfs #文件存儲的位置

#修改nginx配置文件
vim /usr/local/nginx/conf/nginx.conf
#空行處添加
location ~/M00 {
                root /opt/fastdfs/data;
                ngx_fastdfs_module;
}

#拷貝fastdfs解壓目錄中的http.conf和mime.types
cd /opt/fastdfs-5.11/conf/

cp mime.types http.conf /etc/fdfs/

3、FastDFS 經常使用命令：

一、上傳文件：

/usr/bin/fdfs_upload_file  <config_file> <local_filename>

二、下載文件：

/usr/bin/fdfs_download_file <config_file> <file_id> [local_filename]

三、刪除文件：

/usr/bin/fdfs_delete_file <config_file> <file_id>