分佈式FastDFS集羣部署

時間  2019-11-08
標籤 分佈式 fastdfs 集羣 部署 欄目 系統架構 简体版
原文   原文鏈接

FastDFS

FastDFS的做者餘慶在其 GitHub 上是這樣描述的：「FastDFS is an open source high performance distributed file system. It's major functions include: file storing, file syncing and file accessing (file uploading and file downloading), and it can resolve the high capacity and load balancing problem. FastDFS should meet the requirement of the website whose service based on files such as photo sharing site and video sharing site」 ，意思說，FastDFS是一個開源的高性能分佈式文件系統。其主要功能包括：文件存儲、文件同步和文件訪問（文件上傳和文件下載），它能夠解決高容量和負載平衡問題。FastDFS應知足基於照片共享站點和視頻共享站點等文件的網站的服務要求。html

FastDFS 有兩個角色：跟蹤器（Tracker）和存儲器（Storage）。Tracker 負責文件訪問的調度和負載平衡。Storage 存儲文件及其功能是文件管理，包括：文件存儲、文件同步、提供文件訪問接口。它還管理元數據，這些元數據是表示爲文件的鍵值對的屬性。Tracker 和 Storage 節點均可以由一臺或多臺服務器構成。這些服務器都可以隨時增長或下線而不會影響線上服務，固然各個節點集羣至少須要一臺服務 Running。注意，其中 Tracker 集羣中的全部服務器都是對等的（P2P），能夠根據服務器的壓力狀況隨時增長或減小。node

此外，官網還存儲系統作了詳盡的說明，爲了支持大容量，Storage 節點採用了分卷（或分組）的組織方式。存儲系統由一個或多個卷組成，卷與卷之間的文件是相互獨立的，全部卷的文件容量累加就是整個存儲系統中的文件容量。一個卷能夠由一臺或多臺 Storage 服務器組成，一個卷下的存儲服務器中的文件都是相同的，卷中的多臺存儲服務器起到了冗餘備份和負載均衡的做用。在卷中增長服務器時，同步已有的文件由系統自動完成，同步完成後，系統自動將新增服務器切換到線上提供服務。當存儲空間不足或即將耗盡時，能夠動態添加捲。只須要增長一臺或多臺服務器，並將它們配置爲一個新的卷，這樣就擴大了存儲系統的容量。關於卷或組的概念暫且不要過多深刻，後面的安裝部署中會後詳細的說明。mysql

在FastDFS中，文件的標識由兩部分組成：卷名和文件名。nginx

環境說明

  • 操做系統：Centos Linux release 7.2.1511
  • 系統磁盤： 274G
  • 掛在磁盤：3.7T * 12
  • CPU：32 (Intel(R) Xeon(R) )
  • Memory：8G

架構設計

圖1 DFS架構圖c++

工做方式：客戶端向 tracker 發出請求，而後 tracker 從 storage 節點拿到源數據，返還給客戶端，而後客戶端根據源數據再去請求 storage 節點。git

高可用FasfDFS結構圖

圖2 高可用DFS架構圖（紅色虛線部分另外討論）github

概要精簡

1.核心系統只有兩個角色，tracker server和storage server。web

2.全部跟蹤器服務器都是對等的，不存在 Master-Slave 關係（圖中 Tracker-leader 需另行討論，目前只須要明白 tracker 是 P2P）。sql

3.存儲服務器採用分組方式，同組內存儲服務器上的文件徹底相同。vim

4.不一樣組的 storage server 之間不會相互通訊，相同組之間會進行同步。

5.由 storage server 主動向 tracker server 報告狀態信息，每一個 tracker server 都會記錄 storage server 的信息。

6.若是開啓了 trunk 功能，tracker 服務協調 storage 選舉 trunk-server。

集羣部署

準備環境

表1 軟件列表及版本

名稱 說明 連接
CentOS 7.x（安裝系統）
libfastcommon FastDFS分離出的一些公用函數包 libfastcommon V1.0.39
FastDFS FastDFS本體 FastDFS V5.11
fastdfs-nginx-module FastDFS和nginx的關聯模塊，解決組內同步延遲問題 fastdfs-nginx-module V1.20
nginx nginx 1.12.2（CentOS 7 下YUM能夠安裝的最新版本） nginx 1.12.2
Note: 在google瀏覽器中，點擊上面連接下載和複製連接下載的文件名稱不相同，google會根據上面的文本信息重命名。

表2 服務器IP、服務分配、端口規劃表

名稱 IP地址 應用服務 端口
A機器
10.58.10.136 tracker 22122
10.58.10.136 storage-group1 23000
10.58.10.136 storage-group2 33000
10.58.10.136 libfastcommon -
10.58.10.136 nginx 8888
10.58.10.136 fastdfs-nginx-module -
B機器
10.58.10.137 tracker 22122
10.58.10.137 storage-group1 23000
10.58.10.137 storage-group3 43000
10.58.10.137 libfastcommon -
10.58.10.137 nginx 8888
10.58.10.137 fastdfs-nginx-module -
C機器
10.58.10.138 tracker 22122
10.58.10.138 storage-group2 33000
10.58.10.138 storage-group23 43000
10.58.10.138 libfastcommon -
10.58.10.138 nginx 8888
10.58.10.138 fastdfs-nginx-module -

在安裝以前必須說明：

1.記得給下面用到的存儲目錄(日誌、數據、pid文件等)受權可讀可寫權限；

2.下面全部的配置文件中因爲說明，加了註釋，請務必在配置的時候把配置項後面以「#」開頭的註釋刪掉。

初始化環境

# 安裝編譯環境
$ yum groups install Development Tools -y
$ yum install perl -y
$ yum -y install redhat-rpm-config.noarch
$ yum -y install gd-devel
$ yum -y install perl-devel perl-ExtUtils-Embed
$ yum -y install pcre-devel
$ yum -y install openssl openssl-devel
$ yum -y install gcc-c++ autoconf automake
$ yum install -y zlib-devel
$ yum -y install libxml2 libxml2-dev
$ yum -y install libxslt-devel
$ yum -y install GeoIP GeoIP-devel GeoIP-data
$ yum install gperftools -y

安裝libfastcommon

在A、B、C三臺機器上分別執行下面的操做：

$ tar -zxvf libfastcommon-1.0.39.tar.gz
$ cd libfastcommon-1.0.39/
$ ./make.sh
$ ./make.sh install

libfastcommon 安裝在了 /usr/lib64/libfastcommon.so。須要注意新老版本，新版本在安裝以後自動會將 libfastcommon.so 經過軟鏈接連接到 /usr/local/lib 目錄下面。若是是老版本，則須要手動創建：

ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so   ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so

若是有 libfdfsclient.so，則也能夠把libfdfsclient.so加入到 /usr/local/lib 中：

ln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so   ln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so
Note：最好本身經過命令 ls | grep libfastcommon 在 /usr/lib/ 和 /usr/local/lib 查看確認是否連接成功。

安裝tracker

在 A、B、C 三臺機器上分別執行下面操做：

$ mkdir -p /data/fastdfs/tracker
$ tar -zxvf fastdfs-5.11.tar.gz
$ cd fastdfs-5.11/
$ ./make.sh
$ ./make.sh install
$ # 配置文件準備
$ cp /etc/fdfs/tracker.conf.sample /etc/fdfs/tracker.conf #tracker節點

修改tracker的配置文件：

$ vim /etc/fdfs/tracker.conf
$ #須要修改的內容以下
max_connections=1024 #默認256，最大鏈接數
port=22122 # tracker 服務器端口（默認 22122,通常不修改）
base_path=/data/fastdfs/tracker # 存儲日誌和數據的根目錄

增長 tracker.service 服務，可以使用 systemctl 執行服務的啓動、重啓、中止等操做，也可設置開機自動重啓。

$ #編輯啓動文件
$ vim /usr/lib/systemd/system/fastdfs-tracker.service
[Unit]
Description=The FastDFS File server
After=network.target remote-fs.target nss-lookup.target

[Service]
Type=forking
ExecStart=/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf start
ExecStop=/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf stop
ExecRestart=/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart

[Install]
WantedBy=multi-user.target

保存 /usr/lib/systemd/system/fastdfs-tracker.service 文件並退出 vim 編輯器，咱們執行下面操做啓動 Fastdfs Tracker 服務：

$ systemctl daemon-reload
$ systemctl enable fastdfs-tracker.service
$ systemctl start fastdfs-tracker.service

tracker 服務啓動結束後，咱們經過下面命令查看端口是否正常：

$ netstat -tulnp|grep 22122 #查看服務是否啓動，端口是否打開

安裝sorage

安裝 tracker 的時候已經解壓過了則能夠不執行此步驟。

$ tar -zxvf fastdfs-5.11.tar.gz  
$ cd fastdfs-5.11/
$ ./make.sh
$ ./make.sh install
A 機器(group1/group2)

在 fastdfs-5.11 目錄下面複製 storage 的配置文件（複製兩份）：

$ sudo mkdir -p /data/fastdfs/storage/group1
$ sudo mkdir -p /data/fastdfs/storage/group2
$ sudo cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage-group1.conf #storage節點的group1組
$ sudo cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage-group2.conf #storage節點的group1組
$ sudo cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf #客戶端文件，測試用

根據架構設計，咱們依次修改上面的三個文件：

  • 修改 group1 的配置文件：/etc/fdfs/storage-group1.conf 
$ sudo vim /etc/fdfs/storage-group1.conf
#須要修改的內容以下
group_name=group1
port=23000 # storage 服務端口（默認 23000）
base_path=/data/fastdfs/storage/group1 # 數據和日誌文件存儲根目錄
store_path_count=6
store_path0=/data01/fastdfs # group1 的第一個存儲目錄
store_path1=/data02/fastdfs # group1 的第二個存儲目錄
store_path2=/data03/fastdfs # group1 的第三個存儲目錄
store_path3=/data04/fastdfs # group1 的第四個存儲目錄
store_path4=/data05/fastdfs # group1 的第五個存儲目錄
store_path5=/data06/fastdfs # group1 的第六個存儲目錄
tracker_server=10.58.10.136:22122 # tracker 服務器IP和端口
tracker_server=10.58.10.137:22122 # tracker 服務器IP和端口
tracker_server=10.58.10.138:22122 # tracker 服務器IP和端口
http.server_port=8888  # http 訪問文件的端口(默認 8888，看狀況修改，和nginx 中保持一致)
  • 修改 group2 的配置文件：/etc/fdfs/storage-group2.conf 
$ sudo vim /etc/fdfs/storage-group2.conf
#須要修改的內容以下
group_name=group2
port=33000 # storage 服務端口（默認 23000，修改成 33000）
base_path=/data/fastdfs/storage/group2 # 數據和日誌文件存儲根目錄
store_path_count=6
store_path0=/data07/fastdfs # group2 的第一個存儲目錄
store_path1=/data08/fastdfs # group2 的第二個存儲目錄
store_path2=/data09/fastdfs # group2 的第三個存儲目錄
store_path3=/data10/fastdfs # group2 的第四個存儲目錄
store_path4=/data11/fastdfs # group2 的第五個存儲目錄
store_path5=/data12/fastdfs # group2 的第六個存儲目錄
tracker_server=10.58.10.136:22122 # tracker 服務器 IP 和端口
tracker_server=10.58.10.137:22122 # tracker 服務器 IP 和端口
tracker_server=10.58.10.138:22122 # tracker 服務器 IP 和端口
http.server_port=8888 # http 訪問文件的端口(默認 8888，看狀況修改，和nginx 中保持一致)
  • 修改client的配置文件：/etc/fdfs/client.conf 
$ sudo vim /etc/fdfs/client.conf
#須要修改的內容以下
base_path=/data/fastdfs/client
tracker_server=10.58.10.136:22122 # tracker 服務器 IP 和端口
tracker_server=10.58.10.137:22122 # tracker 服務器 IP 和端口
tracker_server=10.58.10.138:22122 # tracker 服務器 IP 和端口
  • 修改好以上三個配置文件以後，咱們製做啓動 service：
fastdfs-storage-group1.service 
$ vim /usr/lib/systemd/system/fastdfs-storage-group1.service
# 編輯啓動文件
[Unit]
Description=The FastDFS File server
After=network.target remote-fs.target nss-lookup.target

[Service]
Type=forking
ExecStart=/usr/bin/fdfs_storaged /etc/fdfs/storage-group1.conf start
ExecStop=/usr/bin/fdfs_storaged /etc/fdfs/storage-group1.conf stop
ExecRestart=/usr/bin/fdfs_storaged /etc/fdfs/storage-group1.conf restart

[Install]
WantedBy=multi-user.target
fastdfs-storage-group2.service 
$ vim /usr/lib/systemd/system/fastdfs-storage-group2.service
# 編輯啓動文件
[Unit]
Description=The FastDFS File server
After=network.target remote-fs.target nss-lookup.target

[Service]
Type=forking
ExecStart=/usr/bin/fdfs_storaged /etc/fdfs/storage-group2.conf start
ExecStop=/usr/bin/fdfs_storaged /etc/fdfs/storage-group2.conf stop
ExecRestart=/usr/bin/fdfs_storaged /etc/fdfs/storage-group2.conf restart

[Install]
WantedBy=multi-user.target
  • Storage 的 service 製做好只好，咱們啓動 Storage 的兩個服務：
$ systemctl daemon-reload
$ systemctl enable fastdfs-storage-group1.service
$ systemctl start fastdfs-storage-group1.service

啓動過程可能由於某些權限或配置書寫錯誤的問題，會出現啓動失敗的狀況，可經過 systemctl status fastdfs-storage-group1.service 查看該服務的狀態，同時結合logs（日誌文件在 /data/fastdfs/storage/group1/logs/目錄下面）排查，能夠快速定位問題。若是出現一些異常狀況，也能夠看看後面的採坑部分，看看有沒有指望的結果。

$ netstat -tulnp #查看服務是否啓動，端口是否打開（23000，33000）
  • 服務起來以後，咱們能夠查看Fastdfs的集羣狀態：
#查看集羣狀態
$ fdfs_monitor /etc/fdfs/storage-group1.conf list

控制檯打印出以下信息，說明成功了：

[2018-11-06 00:00:00] DEBUG - base_path=/data/fastdfs/storage/group1, connect_timeout=30, network_timeout=60, tracker_server_count=2, anti_steal_token=0, anti_steal_secret_key length=0, use_connection_pool=0, g_connection_pool_max_idle_time=3600s, use_storage_id=0, storage server id count: 0
server_count=3, server_index=0
tracker server is 10.58.10.136:22122,10.58.10.137:22122,10.58.10.138:22122
group count: 2
Group 1:
...
  • 經過客戶端測試上傳文件
#保存後測試,返回 ID 表示成功 如：group1/M00/00/00/xx.txt
$ fdfs_upload_file /etc/fdfs/client.conf test.txt
B 機器(group1/group3)

配置過程與 A 機器相似，須要修改如下幾個點：

  • 建立目錄及複製配置文件。
$ sudo mkdir -p /data/fastdfs/storage/group1
$ sudo mkdir -p /data/fastdfs/storage/group3
$ sudo cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage-group1.conf #storage節點的group1組
$ sudo cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage-group3.conf #storage節點的group3組
$ sudo cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf #客戶端文件，測試用
  • 修改 group3 的配置文件/etc/fdfs/storage-group3.conf，group1 的配置內容和 A 的保持一致。
$ sudo vim /etc/fdfs/storage-group3.conf
#須要修改的內容以下
group_name=group3
port=43000 # storage服務端口（默認23000，修改成43000）
base_path=/data/fastdfs/storage/group3 # 數據和日誌文件存儲根目錄
store_path_count=6
store_path0=/data07/fastdfs # group3的第一個存儲目錄
store_path1=/data08/fastdfs # group3的第二個存儲目錄
store_path2=/data09/fastdfs # group3的第三個存儲目錄
store_path3=/data10/fastdfs # group3的第四個存儲目錄
store_path4=/data11/fastdfs # group3的第五個存儲目錄
store_path5=/data12/fastdfs # group3的第六個存儲目錄
tracker_server=10.58.10.136:22122 # tracker服務器IP和端口
tracker_server=10.58.10.137:22122 # tracker服務器IP和端口
tracker_server=10.58.10.138:22122 # tracker服務器IP和端口
http.server_port=8888 # http訪問文件的端口(默認8888,看狀況修改,和nginx中保持一致)
  • client 的配置文件和 A 機器一致，此處不作重複。
  • 製做啓動 group3 的 service，fastdfs-storage-group1.service和 A 機器一致，複製便可。
$ vim /usr/lib/systemd/system/fastdfs-storage-group3.service
# 編輯啓動文件
[Unit]
Description=The FastDFS File server
After=network.target remote-fs.target nss-lookup.target

[Service]
Type=forking
ExecStart=/usr/bin/fdfs_storaged /etc/fdfs/storage-group3.conf start
ExecStop=/usr/bin/fdfs_storaged /etc/fdfs/storage-group3.conf stop
ExecRestart=/usr/bin/fdfs_storaged /etc/fdfs/storage-group3.conf restart

[Install]
WantedBy=multi-user.target
  • 執行啓動腳本，直到 fastdfs-storage-group1.service 和 fastdfs-storage-group3.service 服務起來便可。
C 機器(group2/group3)

配置過程與 A 機器相似，須要修改如下幾個點：

  • 建立目錄及複製配置文件。
$ sudo mkdir -p /data/fastdfs/storage/group2
$ sudo mkdir -p /data/fastdfs/storage/group3
$ sudo cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage-group2.conf #storage節點的group1組
$ sudo cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage-group3.conf #storage節點的group3組
$ sudo cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf #客戶端文件，測試用
  • 修改 group2 的配置文件/etc/fdfs/storage-group2.conf，group3 的配置內容和 B 機器的保持一致。
$ sudo vim /etc/fdfs/storage-group2.conf
#須要修改的內容以下
group_name=group2
port=33000 # storage服務端口（默認23000，修改成33000）
base_path=/data/fastdfs/storage/group2 # 數據和日誌文件存儲根目錄
store_path_count=6
store_path0=/data01/fastdfs # group2的第一個存儲目錄
store_path1=/data02/fastdfs # group2的第二個存儲目錄
store_path2=/data03/fastdfs # group2的第三個存儲目錄
store_path3=/data04/fastdfs # group2的第四個存儲目錄
store_path4=/data05/fastdfs # group2的第五個存儲目錄
store_path5=/data06/fastdfs # group2的第六個存儲目錄
tracker_server=10.58.10.136:22122 # tracker服務器IP和端口
tracker_server=10.58.10.137:22122 # tracker服務器IP和端口
tracker_server=10.58.10.138:22122 # tracker服務器IP和端口
http.server_port=8888 # http訪問文件的端口(默認8888,看狀況修改,和nginx中保持一致)
  • client 的配置文件和 A 機器一致，此處不作重複。
  • 製做啓動 group2 和 group3 的 service，上面已有，直接複製便可。
  • 執行啓動腳本，直到fastdfs-storage-group2.service和fastdfs-storage-group3.service服務起來便可。

安裝nginx和fastdfs的nginx模塊

step1 在 fastdfs 的目錄中，將 http.conf 和 mime.types 文件拷貝到 /etc/fdfs 目錄下面，支持 nginx 訪問 storage 服務。

# 在三臺機器上都須要執行
$ cp ./conf/http.conf /etc/fdfs/ #供 nginx 訪問使用
$ cp ./conf/mime.types /etc/fdfs/ #供 nginx 訪問使用

step2 安裝 fastdfs 的 nginx 模塊：

# 在三臺機器上都須要執行
$ tar -zxvf V1.20.tar.gz
$ cp fastdfs-nginx-module-1.20/src/mod_fastdfs.conf /etc/fdfs/mod_fastdfs.conf

step3 而後修改 fastdfs-nginx-module-1.20/src/config 文件，找到 ngx_module_incs 和 CORE_INCS 兩處，修改以下：

ngx_module_incs=」/usr/include/fastdfs /usr/include/fastcommon/」
CORE_INCS=」$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/」

若是不修改，在編譯 nginx 的時候，會出這種錯誤：/usr/include/fastdfs/fdfs_define.h:15:27: fatal error: common_define.h: No such file or directory。

step4 以後咱們解壓 nginx，安裝 nginx 服務：

$ tar -zxvf nginx-1.12.2.tar.gz
$ cd nginx-1.12.2
$ ./configure --prefix=/usr/share/nginx --sbin-path=/usr/sbin/nginx --modules-path=/usr/lib64/nginx/modules --conf-path=/etc/nginx/nginx.conf --error-log-path=/var/log/nginx/error.log --http-log-path=/var/log/nginx/access.log --http-client-body-temp-path=/var/lib/nginx/tmp/client_body --http-proxy-temp-path=/var/lib/nginx/tmp/proxy --http-fastcgi-temp-path=/var/lib/nginx/tmp/fastcgi --http-uwsgi-temp-path=/var/lib/nginx/tmp/uwsgi --http-scgi-temp-path=/var/lib/nginx/tmp/scgi --pid-path=/run/nginx.pid --lock-path=/run/lock/subsys/nginx --user=nginx --group=nginx --with-file-aio --with-ipv6 --with-http_auth_request_module --with-http_ssl_module --with-http_v2_module --with-http_realip_module --with-http_addition_module --with-http_xslt_module=dynamic --with-http_image_filter_module=dynamic --with-http_geoip_module=dynamic --with-http_sub_module --with-http_dav_module --with-http_flv_module --with-http_mp4_module --with-http_gunzip_module --with-http_gzip_static_module --with-http_random_index_module --with-http_secure_link_module --with-http_degradation_module --with-http_slice_module --with-http_stub_status_module --with-http_perl_module=dynamic --with-mail=dynamic --with-mail_ssl_module --with-pcre --with-pcre-jit --with-stream=dynamic --with-stream_ssl_module --with-google_perftools_module --with-debug --with-cc-opt='-O2 -g -pipe -Wall -Wp,-D_FORTIFY_SOURCE=2 -fexceptions -fstack-protector-strong --param=ssp-buffer-size=4 -grecord-gcc-switches -specs=/usr/lib/rpm/redhat/redhat-hardened-cc1 -m64 -mtune=generic' --with-ld-opt='-Wl,-z,relro -specs=/usr/lib/rpm/redhat/redhat-hardened-ld -Wl,-E' --add-module=${YOUR_PATH}/fastdfs-nginx-module-1.20/src
$ make
$ make install

注意，上面 ${YOUR_PATH} 改成 fastdfs-nginx-module-1.20 的父目錄，保證路徑正確。

  • 修改A機器 /etc/fdfs/mod_fastdfs.conf 配置文件：
connect_timeout=2
network_timeout=30
base_path=/data/fastdfs/ngx_mod
load_fdfs_parameters_from_tracker=true
storage_sync_file_max_delay = 86400
use_storage_id = false
storage_ids_filename = storage_ids.conf
tracker_server=10.58.10.136:22122 # tracker服務器IP和端口
tracker_server=10.58.10.137:22122 # tracker服務器IP和端口
tracker_server=10.58.10.138:22122 # tracker服務器IP和端口
group_name=group1/group2  # 全局
url_have_group_name = true
log_level=info
log_filename=
response_mode=proxy
if_alias_prefix=
flv_support = true
flv_extension = flv
group_count = 2
[group1]
group_name=group1   #group中
storage_server_port=23000
store_path_count=6
store_path0=/data01/fastdfs 
store_path1=/data02/fastdfs 
store_path2=/data03/fastdfs 
store_path3=/data04/fastdfs 
store_path4=/data05/fastdfs
store_path5=/data06/fastdfs 
[group2]
group_name=group2
storage_server_port=33000
store_path_count=6
store_path0=/data07/fastdfs 
store_path1=/data08/fastdfs 
store_path2=/data09/fastdfs 
store_path3=/data10/fastdfs 
store_path4=/data11/fastdfs
store_path5=/data12/fastdfs
  • 配置 nginx 的配置文件，以便訪問 storage
$ sudo vim /etc/nginx/nginx.conf
user nginx;
worker_prosesses on;
worker_rlimit_nofile 65535;

error_log /var/log/nginx/error.log;
pid /run/nginx.pid;

include /usr/share/nginx/modules/*.conf;

events {
    worker_connections 65535;
    use epoll;
    accept_mutex off;
}

http {
    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

    access_log  /var/log/nginx/access.log  main;

    sendfile            on;
    tcp_nopush          on;
    tcp_nodelay         on;
    keepalive_timeout   65;
    types_hash_max_size 2048;
    gzip                on;

    server_names_bucket_hash_size 128;
    client_header_buffer_size 32k;
    larger_client_header_buffers 4 32k;
    client_max_body_size 300m;

    proxy_redirect off;
    proxy_http_version 1.1;
    proxy_set_header Connection '';
    proxy_set_header REMOTE-HOST $remote_addr;
    proxy_set_header HOST $host;
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    proxy_connet_timeout 90;
    proxy_send_timeout   90;
    proxy_read_timeout   90;
    proxy_buffer_size 16k;
    proxy_buffers 8 64k;
    proxy_busy_buffers_size 128k;
    proxy_temp_file_write_size 128k;


    proxy_cache_path /data/fastdfs/cache/nginx/proxy_cache levels=1:2
    keys_zone=http-cache:200m max_size=1g inactive=30d;
    proxy_temp_path /data/fastdfs/cache/nginx/proxy_cache/temp;

    include             /etc/nginx/mime.types;
    default_type        application/octet-stream;

    include /etc/nginx/conf.d/*.conf;

    server {
        listen       80 default_server;
        listen       [::]:80 default_server;
        server_name  _;
        root         /usr/share/nginx/html;

        # Load configuration files for the default server block.
        #include /etc/nginx/default.d/*.conf;

        location ~ ^/ok(\..*)?$ {
            return 200 "OK";
        }

        location /nginx {
            stub_status on;
        }

        location /healthcheck {
            check_status on;
        }

        location ^~ /group1/ {
            proxy_next_upstream http_502 http_504 error timeout invalid_header;
            proxy_cache http-cache;
            proxy_cache_valid 200 304 12h;
            proxy_cache_key $uri$is_args$args;

            add_header 'Access-Control-Allow-Origin' $http_origin;
            add_header 'Access-Control-Allow-Credentials' 'true';
            add_header "Access-Control-Allow-Methods" "GET, POST, HEAD, PUT, DELETE, OPTIONS, PATCH";
            add_header "Access-Control-Allow-Headers" "Origin, No-Cache, Authorization, X-Requested-With, If-Modified-Since, Pragma, Last-Modified, Cache-Control, Expires, Content-Type";
            if ($request_method = 'OPTIONS') {
                return 200 'OK';
            }

            proxy_pass http://fdfs_group1;
            expire 30d;
        }
        location ^~ /group2/ {
            proxy_next_upstream http_502 http_504 error timeout invalid_header;
            proxy_cache http-cache;
            proxy_cache_valid 200 304 12h;
            proxy_cache_key $uri$is_args$args;

            add_header 'Access-Control-Allow-Origin' $http_origin;
            add_header 'Access-Control-Allow-Credentials' 'true';
            add_header "Access-Control-Allow-Methods" "GET, POST, HEAD, PUT, DELETE, OPTIONS, PATCH";
            add_header "Access-Control-Allow-Headers" "Origin, No-Cache, Authorization, X-Requested-With, If-Modified-Since, Pragma, Last-Modified, Cache-Control, Expires, Content-Type";
            if ($request_method = 'OPTIONS') {
                return 200 'OK';
            }

            proxy_pass http://fdfs_group2;
            expire 30d;
        }
        location ^~ /group3/ {
            proxy_next_upstream http_502 http_504 error timeout invalid_header;
            proxy_cache http-cache;
            proxy_cache_valid 200 304 12h;
            proxy_cache_key $uri$is_args$args;

            add_header 'Access-Control-Allow-Origin' $http_origin;
            add_header 'Access-Control-Allow-Credentials' 'true';
            add_header "Access-Control-Allow-Methods" "GET, POST, HEAD, PUT, DELETE, OPTIONS, PATCH";
            add_header "Access-Control-Allow-Headers" "Origin, No-Cache, Authorization, X-Requested-With, If-Modified-Since, Pragma, Last-Modified, Cache-Control, Expires, Content-Type";
            if ($request_method = 'OPTIONS') {
                return 200 'OK';
            }

            proxy_pass http://fdfs_group3;
            expire 30d;
        }

        location ~/purge(/.*) {
            allow 127.0.0.1;
            allow 192.168.1.0/24;
            allow 10.58.1.0/24;
            deny all;
            proxy_cache_purge http-cache $1$is_args$args;
        }
    }

    server {
        listen 8888;
        server_name localhost;
        
        location /ok.htm {
            return 200 "OK";
        }

        location ~/group[0-9]/ {
            ngx_fastdfs_module;
        }

        error_page 500 502 503 504 /50x.html;
        location = /50x.html {
            root html;
        }
    }

    upstream fdfs_group1 {
        server 10.58.10.136:8888 max_fails=0;
        server 10.58.10.137:8888 max_fails=0;

        keepalive 10240;
        check interval=2000 rise=2 fall=3 timeout=1000 type=http default_down=false;
        check_http_send "GET /ok.htm HTTP/1.0\r\nConnection:keep-alive\r\n\r\n";
        check_keepalive_requests 100;
    }

    upstream fdfs_group2 {
        server 10.58.10.136:8888 max_fails=0;
        server 10.58.10.138:8888 max_fails=0;

        keepalive 10240;
        check interval=2000 rise=2 fall=3 timeout=1000 type=http default_down=false;
        check_http_send "GET /ok.htm HTTP/1.0\r\nConnection:keep-alive\r\n\r\n";
        check_keepalive_requests 100;
    }

    upstream fdfs_group3 {
        server 10.58.10.137:8888 max_fails=0;
        server 10.58.10.138:8888 max_fails=0;

        keepalive 10240;
        check interval=2000 rise=2 fall=3 timeout=1000 type=http default_down=false;
        check_http_send "GET /ok.htm HTTP/1.0\r\nConnection:keep-alive\r\n\r\n";
        check_keepalive_requests 100;
    }

}
  • 啓動 nginx 服務：
sudo nginx -c /etc/nginx/nginx.conf

訪問http://localhost/ok.htm看看是... 200 的狀態,並有 OK 內容。若是啓動失敗，能夠查看nginx的日誌，日誌在/var/log/nginx/error.log文件中，這個也是 nginx 在 Centos 中的默認錯誤日誌路徑，若是修改過 error_log，那麼在 error_log 指定的文件中查看錯誤信息。

  • B 和 C 機器的配置基本同樣，nginx 的配置文件徹底同樣，惟一須要修改的是/etc/fdfs/mod_fastdfs.conf，在 group_name 中根據節點中 storage 的配置修改對應的名字便可。可是須要注意的是方括號[groupX]中X必定是順序遞增的，從1開始。

問題總結

遇到問題，第一，咱們經過 Console 打印的信息排查服務啓動失敗的緣由；第二，經過日誌排查。大多數時候，日誌是最有效的排查方式，沒有之一。tracker 或 storage 服務的日誌存放在其服務對應配置文件中 base_path 配置項指定路徑的 logs 目錄下面。 nginx的日誌，若是開啓了本身指定日誌路徑，那麼就是本身指定的路徑下查找。若是默認，在 Centos 下面大多數在 /var/log/nginx/ 目錄下面。固然，在這種環境中咱們排查的不僅僅是 nginx，還有 fastdfs 的對 nginx 的擴展模塊，這時候，要考慮 fastdfs-nginx-module 的日誌的排查，其日誌存放路徑爲 /etc/fdfs/mod_fastdfs.conf 配置中 base_path 指定的路徑。

集羣中多個 group 配置端口

每一個 group 都須要獨立一個 storage 服務，所以同一臺主機上 storage group 的端口不能衝突，這裏我把 group1 的規劃爲 23000，group2 的規劃爲 33000，group3 的規劃爲43000.

相同名稱的 group 不能在同一臺機器上，由於 tracker 調度時，相同名稱的 group 之間會自動進行同步，須要相同的端口號。故此，兩臺主機上統一名稱的 group 必須保證 storage 的端口一致。

集羣中多個group存儲路徑的配置

同一主機不一樣的 group 存儲路徑不要放在一塊兒，須要分開配置。

不一樣主機相同的 group 存儲路徑能夠不一致，可是數量必須保證相同，大小也應該基本一致。

同一節點多個 storage 的配置

在同一個機器上，咱們部署了兩個 group，三臺機器組成的集羣，每一個 group 在另一個節點中保存一份副本。使用命令systemctl start fastdfs-storage-groupx.service啓動的時候，另一個 group 沒法啓動（groupx 爲 group一、group二、group3）。一直顯示爲 Loaded: loaded (/usr/lib/systemd/system/fastdfs-storage-group1.service; enabled; vender preset: disabled)，直到最好失敗 Active: inactive 變爲 Active: exited (下圖爲tracker的，storage 的問題相似)。

當時的解決方法：每一個 storage 啓動時都須要 systemctl daemon-reload 一下，而後啓動便可。
假如要啓動A機器中的 fastdfs-storage-group1.service 和 fastdfs-storage-group2.service，則須要執行以下操做：

  • 先啓動 fastdfs-storage-group1.service
sudo systemctl daemon-reload
sudo systemctl enable fastdfs-storage-group1.service
sudo systemctl start fastdfs-storage-group1.service
  • 觀察 fastdfs-storage-group1.service 的狀態：
systemctl status fastdfs-storage-group1.service
  • 當看到 active 爲 running 的時候，說明啓動成功了，而後啓動 fastdfs-storage-group2.service；不然沒啓動成功，查看日誌尋找問題便可：
sudo systemctl daemon-reload
sudo systemctl enable fastdfs-storage-group2.service
sudo systemctl start fastdfs-storage-group3.service
  • 觀察 fastdfs-storage-group2.service 的狀態，直到起來爲止。

可能會出現 Unkown lvalue 'ExecRestart' in section 'Service' 的警告日誌，目前未找到解決方法，當時執行了 yum install systemd-* 的命令，也沒能解決這個問題（有知道解決方案的朋友麻煩告知一下）。

fastdfs的nginx模塊配置

在全部 storage 機器上，修改 /etc/fdfs/mod_fastdfs.conf 時，根據不一樣的 storage 中的 group 修改 group_name 中的值，可是須要注意兩個配置項目，下面就 group2 和 group3 爲例說明一下：

  • 全局的 group_name

全局配置中的 group_name 必須用」/「分割，值爲局部中的 group_name 的值。好比：

group_name=group2/group3。
  • group 中的 group_name

group 標識必定是從 group1 開始，依次爲 group2，這裏的標識就是方括號中的字符串，相似 mysql 配置文件中的 [Mysql]。

group_name=group2/group3  # 全局
...
group_count = 2
[group1]  # 必定要注意這個地方
group_name=grou2   #group中
storage_server_port=33000
store_path_count=6
......
[group2]  # 還有這個地方，都是有序的
group_name=group3
storage_server_port=43000
store_path_count=6
......

最後，我的理解，錯誤在所不免，歡迎各位朋友批評指正，若有不對的地方，煩請指出。後續我就 FastDFS 的 Tracker 和 Storage 之間的關係項作一個詳細的解釋。

該文首發《虛懷若谷》我的博客，轉載前請務必署名，轉載請標明出處。

古之善爲道者，微妙玄通，深不可識。夫惟不可識，故強爲之容：

豫兮若冬涉川，猶兮若畏四鄰，儼兮其若客，渙兮若冰之釋，敦兮其若樸，曠兮其若谷，混兮其若濁。

孰能濁以靜之徐清？孰能安以動之徐生？

保此道不欲盈。夫惟不盈，故能敝而新成。

請關注個人微信公衆號：下雨就像彈鋼琴，Thanks♪(･ω･)ﾉ
微信二維碼

相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程