fastDfs-理解安裝，一篇就夠了

時間  2020-07-07
標籤 fastdfs 理解 安裝 一篇 夠了 简体版
原文   原文鏈接

以爲能夠，點關注node

contos7
fastdfs-5.11
fastdfs-nginx-module-1.20
libfastcommon-1.0.40
nginx-1.12.0
在百度網盤能夠找到對應資源
連接: https://pan.baidu.com/s/19fZUvkJ-BBJ6zJAhsuEqJg 提取碼: 55cd
將package包複製到  / 目錄下，只需複製粘貼便可安裝完成
後續更新最小集羣安裝

什麼是FastDFS

  • FastDFS是用c語言編寫的一款開源的分佈式文件系統。FastDFS爲互聯網量身定製，充分考慮了冗餘備份、負載均衡、線性擴容等機制，並注重高可用、高性能等指標，使用FastDFS很容易搭建一套高性能的文件服務器集羣提供文件上傳、下載等服務。

FastDFS架構

  • FastDFS架構包括 Tracker server和Storage server。客戶端請求Tracker server進行文件上傳、下載，經過Tracker server調度最終由Storage server完成文件上傳和下載。
  • Tracker server做用是負載均衡和調度，經過Tracker server在文件上傳時能夠根據一些策略找到Storage server提供文件上傳服務。能夠將tracker稱爲追蹤服務器或調度服務器。
  • Storage server做用是文件存儲，客戶端上傳的文件最終存儲在Storage服務器上，Storage server沒有實現本身的文件系統而是利用操做系統 的文件系統來管理文件。能夠將storage稱爲存儲服務器。

Tracker 集羣

  • FastDFS集羣中的Tracker server能夠有多臺，Tracker server之間是相互平等關係同時提供服務，Tracker server不存在單點故障。客戶端請求Tracker server採用輪詢方式，若是請求的tracker沒法提供服務則換另外一個tracker。

Storage集羣

  • Storage集羣採用了分組存儲方式。storage集羣由一個或多個組構成，集羣存儲總容量爲集羣中全部組的存儲容量之和。一個組由一臺或多臺存儲服務器組成，組內的Storage server之間是平等關係，不一樣組的Storage server之間不會相互通訊，同組內的Storage server之間會相互鏈接進行文件同步，從而保證同組內每一個storage上的文件徹底一致的。一個組的存儲容量爲該組內存儲服務器容量最小的那個，因而可知組內存儲服務器的軟硬件配置最好是一致的。
  • 採用分組存儲方式的好處是靈活、可控性較強。好比上傳文件時，能夠由客戶端直接指定上傳到的組也能夠由tracker進行調度選擇。一個分組的存儲服務器訪問壓力較大時，能夠在該組增長存儲服務器來擴充服務能力（縱向擴容）。當系統容量不足時，能夠增長組來擴充存儲容量（橫向擴容）。

Storage狀態收集

  • Storage server會鏈接集羣中全部的Tracker server，定時向他們報告本身的狀態，包括磁盤剩餘空間、文件同步情況、文件上傳下載次數等統計信息。

文件上傳

  • 客戶端上傳文件後存儲服務器將文件ID返回給客戶端，此文件ID用於之後訪問該文件的索引信息。文件索引信息包括：組名，虛擬磁盤路徑，數據兩級目錄，文件名
    • 組名：文件上傳後所在的storage組名稱，在文件上傳成功後有storage服務器返回，須要客戶端自行保存。
    • 虛擬磁盤路徑：storage配置的虛擬路徑，與磁盤選項store_path*對應。若是配置了store_path0則是M00，若是配置了store_path1則是M01，以此類推。
    • 數據兩級目錄：storage服務器在每一個虛擬磁盤路徑下建立的兩級目錄，用於存儲數據文件。
    • 文件名：與文件上傳時不一樣。是由存儲服務器根據特定信息生成，文件名包含：源存儲服務器IP地址、文件建立時間戳、文件大小、隨機數和文件拓展名等信息。

文件下載

  • tracker根據請求的文件路徑即文件ID 來快速定義文件
  • 經過組名tracker可以很快的定位到客戶端須要訪問的存儲服務器組是group1，並選擇合適的存儲服務器提供客戶端訪問。
  • 2.存儲服務器根據「文件存儲虛擬磁盤路徑」和「數據文件兩級目錄」能夠很快定位到文件所在目錄，並根據文件名找到客戶端須要訪問的文件。

配置虛擬機ip，靜態環境

vi /etc/sysconfig/network-scripts/ifcfg-eth0
  • 修改內容,沒有的添加
bootproto=static
onboot=yes
IPADDR=10.200.47.105
NETMASK=255.255.255.0
GATEWAY=192.168.1.1
DNS1=119.29.29.29
  • 重啓網絡服務
systemctl restart network

fastDfs安裝

  • 建立文件夾
mkdir -p /package 											#存放安裝包
mkdir -p /package/util										#工具安裝包
mkdir -p /package/perl										#perl安裝包
mkdir -p /package/gcc										#gcc環境安裝包
mkdir -p /data/fastdfs/log
mkdir -p /data/fastdfs/data
mkdir -p /data/fastdfs/tracker
mkdir -p /data/fastdfs/client
  • 安裝環境
# 將gcc環境rpm包上傳到/package/gcc
rpm  -ivh  /package/gcc/*.rpm --nodeps --force
# 將perl的rpm安裝包上傳到/package/perl
rpm  -ivh  /package/perl/*.rpm --nodeps --force
# netstat工具安裝
rpm -ivh /package/util/*.rpm --nodeps --force
  • 安裝LibFastCommon，將libfastcommon-1.0.40.tar.gz文件上傳到/package
cd /package
tar -zxvf libfastcommon-1.0.40.tar.gz
cd libfastcommon-1.0.40
./make.sh && ./make.sh install
  • 作軟鏈接
ln -s  /usr/lib64/libfastcommon.so  /usr/local/lib/libfastcommon.so
ln -s  /usr/lib64/libfastcommon.so  /usr/lib/libfastcommon.so
ln -s  /usr/lib64/libfdfsclient.so  /usr/local/lib/libfdfsclient.so
ln -s  /usr/lib64/libfdfsclient.so  /usr/lib/libfdfsclient.so
  • 安裝FastDFS 將fastdfs-5.11.tar.gz文件上傳到/package
cd /package
tar -zxvf fastdfs-5.11.tar.gz
cd fastdfs-5.11
./make.sh && ./make.sh install

配置

  • Tracker -- >> 跟蹤器
cd /etc/fdfs/
cp tracker.conf.sample tracker.conf
vim tracker.conf
## 關注以下幾個配置
## 存儲數據和日誌文件的基本路徑
base_path=/data/fastdfs/tracker
## Http服務端口
http.server_port=8080
## 默認提供服務端口
port=22122
  • 啓動tracker
/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf start
# 查看狀態
netstat -apn|grep fdfs
# 打印結果
tcp  0  0 0.0.0.0:22122  0.0.0.0:*   LISTEN  10780/fdfs_trackerd
  • 配置數據存儲
cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage.conf
vim /etc/fdfs/storage.conf
# 關注以下配置
# storage存儲data和log的跟路徑
base_path=/data/fastdfs/data
# 默認組名
group_name=group1
# 默認端口，相同組的storage端口號必須一致
port=23000
# 配置一個存儲路徑
store_path_count=1
store_path0=/data/fastdfs/data
# 配置跟蹤器IP和端口
tracker_server=10.200.47.105:22122
  • 啓動存儲服務
/usr/bin/fdfs_storaged /etc/fdfs/storage.conf start
# 查看狀態
netstat -apn|grep fdfs
# 查看日誌
tail -f /data/fastdfs/data/logs/storaged.log
# 日誌展現：單臺FastDFS安裝成功
set tracker leader: 192.168.72.130:22122
# 查看Storage和Tracker是否在通訊
/usr/bin/fdfs_monitor /etc/fdfs/storage.conf
Storage 1:
    id = 192.168.72.130
    ip_addr = 192.168.72.130 (localhost.localdomain)  ACTIVE

配置客戶端測試

cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf
vim /etc/fdfs/client.conf
# 關注以下幾個配置
# client數據和日誌目錄
base_path=/data/fastdfs/client
# 配置跟蹤器IP和端口
tracker_server=192.168.72.130:22122
  • 客戶端測試 調用客戶端文件上傳命令
    • /usr/bin/fdfs_upload_file /etc/fdfs/client.conf
    • 如 /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /etc/fdfs/client.conf.sample
  • 返回文件上傳的相對路徑和編號
    • group1/M00/00/00/CsgvaV3t_K-AM2FxAAAFtXJOjeo.sample
  • 文件成功上傳storage服務器，可是還沒法查看下載。須要安裝Nginx服務器用來支持Http方式訪問文件

安裝Nginx

  • 將fastdfs-nginx-module-1.20.tar.gz文件上傳到/package
fastdfs-nginx-module做用說明：FastDfs經過Tracker服務器，向Storage存儲數據
cd /package
tar -zxvf fastdfs-nginx-module-1.20.tar.gz
  • 將nginx-1.12.0.tar.gz文件上傳到/package
cd /package
tar -zxvf nginx-1.12.0.tar.gz
cd nginx-1.12.0
./configure --add-module=/package/fastdfs-nginx-module-1.20/src/
make && make install
  • 若是編譯出錯
    /usr/include/fastdfs/fdfs_define.h:15:27: 致命錯誤：common_define.h：沒有那個文件或目錄
  • 修改
vim /package/fastdfs-nginx-module-1.20/src/config
# 將如下兩句話替換
ngx_module_incs="/usr/include/fastdfs /usr/include/fastcommon/"
CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"
# 再次執行
cd /package/nginx-1.12.0
./configure --add-module=/package/fastdfs-nginx-module-1.20/src/
make && make install
  • 檢查nginx是否安裝成功
/usr/local/nginx/sbin/nginx -V
  • 將配置文件拷貝否則瀏覽器沒法訪問nginx
cp /package/fastdfs-5.11/conf/http.conf /etc/fdfs/
cp /package/fastdfs-5.11/conf/mime.types /etc/fdfs/
  • 配置fastdfs-nginx-module客戶端
cd /package/fastdfs-nginx-module-1.20/src
cp mod_fastdfs.conf /etc/fdfs/
vim /etc/fdfs/mod_fastdfs.conf
# 調整以下配置
# 連接超時
connect_timeout=20
# 配置跟蹤器IP和端口
tracker_server=192.168.72.130:22122
# 路徑包含group
url_have_group_name = true
# 必須和storage配置相同
store_path0=/data/fastdfs/data
  • 配置nginx
cd /usr/local/nginx/conf/
vim nginx.conf
# 修改以下
server {
    listen       80;
    
    location ~/group([0-9])/M00 {
        root /data/fastdfs/data;
        ngx_fastdfs_module;
    }
}

啓動nginx服務

## 啓動
/usr/local/nginx/sbin/nginx
## 中止
/usr/local/nginx/sbin/nginx -s stop
## 重啓
/usr/local/nginx/sbin/nginx -s reload
  • 防火牆操做
systemctl status firewalld		 			#查看firewall防火牆狀態
firewall-cmd --list-ports					#查看firewall防火牆開放端口
systemctl start firewalld.service			#打開firewall防火牆
systemctl stop firewalld.service			#關閉firewall防火牆
firewall -cmd --reload						#重啓firewal防火牆
  • 端口操做
ps -ef | grep nginx
從容中止Nginx：kill -QUIT 主進程號
快速中止Nginx：kill -TERM 主進程號
強制中止Nginx：kill -9 主進程號 
啓動:/usr/local/nginx/sbin/nginx
重啓：/app/nginx/sbin/nginx -s reload -c nginx.conf

開啓端口
firewall-cmd --zone=public --add-port=80/tcp --permanent

FastDFS擴展模塊特性

  • 僅支持HTTP HEAD和GET
  • 支持token方式的防盜鏈（缺省是關閉的）
  • ts：生成token的時間（unix時間戳）
  • token：32位的token字符串（md5簽名）
  • 支持指定保存的缺省文件名，URL參數名爲filename
  • 支持斷點續傳

推薦的FastDFS部署方案

  • 文件上傳和刪除等操做：使用FastDFS client API，目前提供了C、PHP extension和Java的client API
  • 文件下載採用HTTP方式：使用nginx或者apache擴展模塊，不推薦使用FastDFS內置的web server
  • 不要作RAID，直接掛載單盤，每一個硬盤做爲一個mount point

最大併發鏈接數設置

  • 參數名：max_connections
  • 缺省值：256
  • 說明：FastDFS採用預先分配好buffer隊列的
    作法，分配的內存大小爲：max_connections * buff_size，所以配置的鏈接數越大，消耗的內存越多。不建議配置得過大，以免無謂的內存開銷。

工做線程數設置

  • 參數名： work_threads
  • 缺省值：4 • 說明：爲了不CPU上下文切換的開銷，以及沒必要要的資源消耗，不建議將本參數設置得過大。爲了發揮出多個CPU的效能，系統中的線程數總和，應等於CPU總數。
  • 對於tracker server，公式爲：work_threads + 1 = CPU數 • 對於storage，公式爲：
    work_threads + 1 + (disk_reader_threads + disk_writer_threads) * store_path_count = CPU數

storage目錄數設置

  • 參數名：subdir_count_per_path
  • 缺省值：256
  • 說明：FastDFS採用二級目錄的作法，目錄會在FastDFS初始化時自動建立。存儲海量小文件，打開了trunk存儲方式的狀況下，建議將本參數適當改小，好比設置爲32，此時存放文件的目錄數爲 32 * 32 = 1024。假如trunk文件大小採用缺省值64MB，磁盤空間爲2TB，那麼每一個目錄下存放的trunk文件數均值爲：2TB / (1024 * 64MB) = 32個

storage磁盤讀寫線程設置

  • disk_rw_separated：磁盤讀寫是否分離
  • disk_reader_threads：單個磁盤讀線程數
  • disk_writer_threads：單個磁盤寫線程數
  • 若是磁盤讀寫混合，單個磁盤讀寫線程數爲讀線程數和寫線程數以後
  • 對於單盤掛載方式，磁盤讀寫線程分別設置爲1便可
  • 若是磁盤作了RAID，那麼須要酌情加大讀寫線程數，這樣才能最大程度地發揮磁盤性能

storage同步延遲相關設置

  • sync_binlog_buff_interval：將binlog buffer寫入磁盤的時間間隔，取值大於0，缺省值爲60s
  • sync_wait_msec：若是沒有須要同步的文件，對binlog進行輪詢的時間間隔，取值大於0，缺省值爲100ms
  • sync_interval：同步完一個文件後，休眠的毫秒數，缺省值爲0 • 爲了縮短文件同步時間，能夠將上述3個參數適當調小便可
相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程