FastDFS+Nginx(單點部署)事例

關於FastDFS集羣部署請見博文 FastDFS集羣部署

FastDFS是由淘寶的餘慶先生所開發，是一個輕量級、高性能的開源分佈式文件系統，用純C語言開發，包括文件存儲、文件同步、文件訪問（上傳、下載）、存取負載均衡、在線擴容、相同內容只存儲一份等功能，適合有大容量存儲需求的應用或系統。作分佈式系統開發時，其中要解決的一個問題就是圖片、音視頻、文件共享的問題，分佈式文件系統正好能夠解決這個需求。同類的分佈式文件系統有谷歌的GFS、HDFS（Hadoop）、TFS（淘寶）等。

源碼開放下載地址：https://github.com/happyfish100 
早期源碼開放下載地址：https://sourceforge.net/projects/fastdfs/files/ 
官網論壇：http://bbs.chinaunix.net/forum-240-1.html

FastDFS系統架構：

FastDFS文件上傳流程：

一、client詢問tracker上傳到的storage，不須要附加參數； 
二、tracker返回一臺可用的storage； 
三、client直接和storage通信完成文件上傳。 

FastDFS文件下載流程：

一、client詢問tracker下載文件的storage，參數爲文件標識（組名和文件名）； 
二、tracker返回一臺可用的storage； 
三、client直接和storage通信完成文件下載。

術語

FastDFS兩個主要的角色：Tracker Server 和 Storage Server 
Tracker Server：跟蹤服務器，主要負責調度storage節點與client通訊，在訪問上起負載均衡的做用，和記錄storage節點的運行狀態，是鏈接client和storage節點的樞紐。 
Storage Server：存儲服務器，保存文件和文件的meta data（元數據） 
Group：文件組，也能夠稱爲卷。同組內服務器上的文件是徹底相同的，作集羣時每每一個組會有多臺服務器，上傳一個文件到同組內的一臺機器上後，FastDFS會將該文件即時同步到同組內的其它全部機器上，起到備份的做用。 
meta data：文件相關屬性，鍵值對（Key Value Pair）方式，如：width=1024, height=768。和阿里雲OSS的meta data類似。

FastDFS單節點安裝 - 服務器規劃：

跟蹤服務器（Tracker Server）：ip01
存儲服務器（Storage Server）：ip02
操做系統：CentOS7 
用戶：root 
數據存儲目錄：

/fastdfs/tracker

安裝包： 
FastDFS_v5.08.tar.gz：FastDFS源碼 
libfastcommon-master.zip：（從 FastDFS 和 FastDHT 中提取出來的公共 C 函數庫） 
fastdfs-nginx-module-master.zip：storage節點http服務nginx模塊 
nginx-1.10.0.tar.gz：Nginx安裝包 
ngx_cache_purge-2.3.tar.gz：圖片緩存清除Nginx模塊（集羣環境會用到） 
百度網盤 連接: https://pan.baidu.com/s/1gfJ0WSz

下載全部安裝包。

下載完成後，將壓縮包解壓到/usr/local/src目錄下

1、全部tracker和storage節點都執行以下操做

一、安裝所需的依賴包

yum install make cmake gcc gcc-c++

二、安裝libfatscommon

cd /usr/local/src
#安裝unzip 命令： yum install -y unzip zip
unzip libfastcommon-master.zip    
cd libfastcommon-master
## 編譯、安裝
./make.sh
./make.sh install

三、安裝FastDFS

cd /usr/local/src
tar -xzvf FastDFS_v5.08.tar.gz
cd FastDFS
./make.sh
./make.sh install

採用默認安裝方式，相應的文件與目錄以下：

1> 服務腳本：

/etc/init.d/fdfs_storaged
/etc/init.d/fdfs_trackerd

2> 配置文件（示例配置文件）：

 ll /etc/fdfs/
-rw-r--r-- 1 root root  1461 1月   4 14:34 client.conf.sample
-rw-r--r-- 1 root root  7927 1月   4 14:34 storage.conf.sample
-rw-r--r-- 1 root root  7200 1月   4 14:34 tracker.conf.sample

3> 命令行工具（/usr/bin目錄下）

-rwxr-xr-x    1 root root     260584 1月   4 14:34 fdfs_appender_test
-rwxr-xr-x    1 root root     260281 1月   4 14:34 fdfs_appender_test1
-rwxr-xr-x    1 root root     250625 1月   4 14:34 fdfs_append_file
-rwxr-xr-x    1 root root     250045 1月   4 14:34 fdfs_crc32
-rwxr-xr-x    1 root root     250708 1月   4 14:34 fdfs_delete_file
-rwxr-xr-x    1 root root     251515 1月   4 14:34 fdfs_download_file
-rwxr-xr-x    1 root root     251273 1月   4 14:34 fdfs_file_info
-rwxr-xr-x    1 root root     266401 1月   4 14:34 fdfs_monitor
-rwxr-xr-x    1 root root     873233 1月   4 14:34 fdfs_storaged
-rwxr-xr-x    1 root root     266952 1月   4 14:34 fdfs_test
-rwxr-xr-x    1 root root     266153 1月   4 14:34 fdfs_test1
-rwxr-xr-x    1 root root     371336 1月   4 14:34 fdfs_trackerd
-rwxr-xr-x    1 root root     251651 1月   4 14:34 fdfs_upload_appender
-rwxr-xr-x    1 root root     252781 1月   4 14:34 fdfs_upload_file

2、配置tracker服務器

1> 複製tracker樣例配置文件，並重命名

 cp /etc/fdfs/tracker.conf.sample /etc/fdfs/tracker.conf

2> 修改tracker配置文件

vim /etc/fdfs/tracker.conf
# 修改的內容以下：
disabled=false              # 啓用配置文件
port=22122                  # tracker服務器端口（默認22122）
base_path=/fastdfs/tracker  # 存儲日誌和數據的根目錄

其它參數保留默認配置， 具體配置解釋可參考官方文檔說明：http://bbs.chinaunix.net/thread-1941456-1-1.html

3> 建立base_path指定的目錄

mkdir -p /fastdfs/tracker

4> 防火牆中打開tracker服務器端口（ 默認爲 22122）

vi /etc/sysconfig/iptables 

附加：若/etc/sysconfig 目錄下沒有iptables文件可隨便寫一條iptables命令配置個防火牆規則：如：

　　iptables -P OUTPUT ACCEPT

　　而後用命令：service iptables save 進行保存，默認就保存到 /etc/sysconfig/iptables 文件裏。這時既有了這個文件。防火牆也能夠啓動了。接下來要寫策略，也能夠直接寫在/etc/sysconfig/iptables 裏了。

添加以下端口行： 

-A INPUT -m state --state NEW -m tcp -p tcp --dport 22122 -j ACCEPT 

重啓防火牆

service iptables restart

5> 啓動tracker服務器

 /etc/init.d/fdfs_trackerd start

初次啓動，會在/fastdfs/tracker目錄下生成logs、data兩個目錄。

drwxr-xr-x 2 root root 4096 1月   4 15:00 data
drwxr-xr-x 2 root root 4096 1月   4 14:38 logs

檢查FastDFS Tracker Server是否啓動成功：

ps -ef | grep fdfs_trackerd

3、配置storage服務器

1> 複製storage樣例配置文件，並重命名

 cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage.conf

2> 編輯配置文件

vi /etc/fdfs/storage.conf

# 修改的內容以下:
disabled=false                      # 啓用配置文件
port=23000                          # storage服務端口
base_path=/fastdfs/storage          # 數據和日誌文件存儲根目錄
store_path0=/fastdfs/storage        # 第一個存儲目錄
tracker_server=ip01:22122  # tracker服務器IP和端口
http.server_port=8888               # http訪問文件的端口

其它參數保留默認配置， 具體配置解釋可參考官方文檔說明：http://bbs.chinaunix.net/thread-1941456-1-1.html

3> 建立基礎數據目錄

mkdir -p /fastdfs/storage

4> 防火牆中打開storage服務器端口（ 默認爲 23000）

vi /etc/sysconfig/iptables

#添加以下端口行： 
-A INPUT -m state --state NEW -m tcp -p tcp --dport 23000 -j ACCEPT

重啓防火牆

 service iptables restart

5> 啓動storage服務器

/etc/init.d/fdfs_storaged start

初次啓動，會在/fastdfs/storage目錄下生成logs、data兩個目錄。

drwxr-xr-x 259 root root 4096 Mar 31 06:22 data
drwxr-xr-x   2 root root 4096 Mar 31 06:22 logs

 

檢查FastDFS Tracker Server是否啓動成功：

[root@gyl-test-t9 ~]# ps -ef | grep fdfs_storaged
root      1336     1  3 06:22 ?        00:00:01 /usr/bin/fdfs_storaged /etc/fdfs/storage.conf
root      1347   369  0 06:23 pts/0    00:00:00 grep fdfs_storaged

 

4、文件上傳測試（ip01）

1> 修改Tracker服務器客戶端配置文件

cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf
vim /etc/fdfs/client.conf
# 修改如下配置，其它保持默認
base_path=/fastdfs/tracker
tracker_server=ip01:22122

2> 執行文件上傳命令

#/usr/local/src/test.png 是須要上傳文件路徑

/usr/bin/fdfs_upload_file /etc/fdfs/client.conf /usr/local/src/test.png

返回文件ID號：group1/M00/00/00/tlxkwlhttsGAU2ZXAAC07quU0oE095.png

（能返回以上文件ID，說明文件已經上傳成功）

 

5、在全部storage節點安裝fastdfs-nginx-module

1> fastdfs-nginx-module 做用說明 
    FastDFS 經過 Tracker 服務器,將文件放在 Storage 服務器存儲,可是同組存儲服務器之間須要進入 文件複製,有同步延遲的問題。假設 Tracker 服務器將文件上傳到了 ip01,上傳成功後文件 ID 已經返回給客戶端。此時 FastDFS 存儲集羣機制會將這個文件同步到同組存儲 ip02,在文件還 沒有複製完成的狀況下,客戶端若是用這個文件 ID 在 ip02 上取文件,就會出現文件沒法訪問的 錯誤。而 fastdfs-nginx-module 能夠重定向文件鏈接到源服務器取文件,避免客戶端因爲複製延遲致使的 文件沒法訪問錯誤。(解壓後的 fastdfs-nginx-module 在 nginx 安裝時使用)

2> 解壓 fastdfs-nginx-module_v1.16.tar.gz

cd /usr/local/src
tar -xzvf fastdfs-nginx-module_v1.16.tar.gz

3> 修改 fastdfs-nginx-module 的 config 配置文件

　　

 cd fastdfs-nginx-module/src
 vi config

將

CORE_INCS="$CORE_INCS /usr/local/include/fastdfs /usr/local/include/fastcommon/" 

修改成:

CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"

4>上傳當前的穩定版本 Nginx(nginx-1.10.0.tar.gz)到/usr/local/src 目錄

5>安裝編譯 Nginx 所需的依賴包

yum install gcc gcc-c++ make automake autoconf libtool pcre* zlib openssl openssl-devel

6>編譯安裝 Nginx (添加 fastdfs-nginx-module 模塊) 

cd /usr/local/src/
tar -zxvf nginx-1.10.0.tar.gz
cd nginx-1.10.0

./configure --add-module=/usr/local/src/fastdfs-nginx-module/src 
make && make install

　　比對 nginx下Makefile

default:        build

clean:
        rm -rf Makefile objs

build:
        $(MAKE) -f objs/Makefile

install:
        $(MAKE) -f objs/Makefile install

modules:
        $(MAKE) -f objs/Makefile modules

upgrade:
        /usr/local/nginx/sbin/nginx -t

        kill -USR2 'cat /usr/local/nginx/logs/nginx.pid'
        sleep 1
        test -f /usr/local/nginx/logs/nginx.pid.oldbin

        kill -QUIT 'cat /usr/local/nginx/logs/nginx.pid.oldbin'

 

 7>複製 fastdfs-nginx-module 源碼中的配置文件到/etc/fdfs 目錄,並修改

cp /usr/local/src/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/ 
vi /etc/fdfs/mod_fastdfs.conf

 8>修改如下配置:
   

connect_timeout=10
     base_path=/tmp
     tracker_server=ip01:22122
     storage_server_port=23000
     group_name=group1
     url_have_group_name = true
     store_path0=/fastdfs/storage

9> 複製 FastDFS 的部分配置文件到/etc/fdfs 目錄

cd /usr/local/src/FastDFS/conf

cp http.conf mime.types /etc/fdfs/

10> 在/fastdfs/storage 文件存儲目錄下建立軟鏈接,將其連接到實際存放數據的目錄 

ln -s /fastdfs/storage/data/ /fastdfs/storage/data/M00

 11>配置 Nginx

user nobody;

worker_processes 1;

events {

    worker_connections 1024;

}

http {

    include mime.types;

    default_type application/octet-stream;

    sendfile on;

    keepalive_timeout 65;

    server {

        listen 8888;

        server_name localhost;

        location ~/group([0-9])/M00 {

            ngx_fastdfs_module;

        }

        error_page 500 502 503 504 /50x.html;

 

        location = /50x.html {

            root html;

        }

    }

}

 A、8888 端口值是要與/etc/fdfs/storage.conf 中的 http.server_port=8888 相對應, 由於 http.server_port 默認爲 8888,若是想改爲 80,則要對應修改過來。
 B、Storage 對應有多個 group 的狀況下,訪問路徑帶 group 名,如/group1/M00/00/00/xxx, 對應的 Nginx 配置爲:

     location ~/group([0-9])/M00 {
         ngx_fastdfs_module;
}

C、如查下載時如發現老報 404,將 nginx.conf 第一行 user nobody 修改成 user root 後從新啓動。

12> 防火牆中打開 Nginx 的 8888 端口

vi /etc/sysconfig/iptables

 添加:

-A INPUT -m state --state NEW -m tcp -p tcp --dport 8888 -j ACCEPT

#重啓防火牆
service iptables restart

 啓動 Nginx

 /usr/local/nginx/sbin/nginx
(重啓 Nginx 的命令爲:/usr/local/nginx/sbin/nginx -s reload)

 13>經過瀏覽器訪問測試時上傳的文件
     http://ip:port/group1/M00/00/00/tlxkwlhttsGAU2ZXAAC07quU0oE095.png 

or 

　　http://ip/group1/M00/00/00/tlxkwlhttsGAU2ZXAAC07quU0oE095.png

 

JAVA API Client 詳見GitHub ：https://github.com/fzmeng/fastdfs.client