fastdfs單機版的安裝+nginx

時間  2019-11-11
標籤 fastdfs 單機 安裝 nginx 欄目 Nginx 简体版
原文   原文鏈接

 

 

 

 1、FastDFS介紹

FastDFS開源地址：https://github.com/happyfish100html

參考：分佈式文件系統FastDFS設計原理 linux

參考：FastDFS分佈式文件系統nginx

一、簡介

FastDFS 是一個開源的高性能分佈式文件系統（DFS）。 它的主要功能包括：文件存儲，文件同步和文件訪問，以及高容量和負載平衡。主要解決了海量數據存儲問題，特別適合以中小文件（建議範圍：4KB < file_size <500MB）爲載體的在線服務。c++

FastDFS 系統有三個角色：跟蹤服務器(Tracker Server)、存儲服務器(Storage Server)和客戶端(Client)。git

　　Tracker Server：跟蹤服務器，主要作調度工做，起到均衡的做用；負責管理全部的 storage server和 group，每一個 storage 在啓動後會鏈接 Tracker，告知本身所屬 group 等信息，並保持週期性心跳。github

　　Storage Server：存儲服務器，主要提供容量和備份服務；以 group 爲單位，每一個 group 內能夠有多臺 storage server，數據互爲備份。vim

　　Client：客戶端，上傳下載數據的服務器，也就是咱們本身的項目所部署在的服務器。服務器

 

二、FastDFS的存儲策略

爲了支持大容量，存儲節點（服務器）採用了分卷（或分組）的組織方式。存儲系統由一個或多個卷組成，卷與卷之間的文件是相互獨立的，全部卷的文件容量累加就是整個存儲系統中的文件容量。一個卷能夠由一臺或多臺存儲服務器組成，一個卷下的存儲服務器中的文件都是相同的，卷中的多臺存儲服務器起到了冗餘備份和負載均衡的做用。app

在卷中增長服務器時，同步已有的文件由系統自動完成，同步完成後，系統自動將新增服務器切換到線上提供服務。當存儲空間不足或即將耗盡時，能夠動態添加捲。只須要增長一臺或多臺服務器，並將它們配置爲一個新的卷，這樣就擴大了存儲系統的容量。負載均衡

 

三、FastDFS的上傳過程

FastDFS向使用者提供基本文件訪問接口，好比upload、download、append、delete等，以客戶端庫的方式提供給用戶使用。

Storage Server會按期的向Tracker Server發送本身的存儲信息。當Tracker Server Cluster中的Tracker Server不止一個時，各個Tracker之間的關係是對等的，因此客戶端上傳時能夠選擇任意一個Tracker。

當Tracker收到客戶端上傳文件的請求時，會爲該文件分配一個能夠存儲文件的group，當選定了group後就要決定給客戶端分配group中的哪個storage server。當分配好storage server後，客戶端向storage發送寫文件請求，storage將會爲文件分配一個數據存儲目錄。而後爲文件分配一個fileid，最後根據以上的信息生成文件名存儲文件。

 

四、FastDFS的文件同步

寫文件時，客戶端將文件寫至group內一個storage server即認爲寫文件成功，storage server寫完文件後，會由後臺線程將文件同步至同group內其餘的storage server。

每一個storage寫文件後，同時會寫一份binlog，binlog裏不包含文件數據，只包含文件名等元信息，這份binlog用於後臺同步，storage會記錄向group內其餘storage同步的進度，以便重啓後能接上次的進度繼續同步；進度以時間戳的方式進行記錄，因此最好能保證集羣內全部server的時鐘保持同步。

storage的同步進度會做爲元數據的一部分彙報到tracker上，tracke在選擇讀storage的時候會以同步進度做爲參考。

 

五、FastDFS的文件下載

客戶端uploadfile成功後，會拿到一個storage生成的文件名，接下來客戶端根據這個文件名便可訪問到該文件。

跟upload file同樣，在downloadfile時客戶端能夠選擇任意tracker server。tracker發送download請求給某個tracker，必須帶上文件名信息，tracke從文件名中解析出文件的group、大小、建立時間等信息，而後爲該請求選擇一個storage用來服務讀請求。

 

*******************************************************************************************************************

Centos 7 下的安裝以下：

一、安裝時下載的包 ,全部下載文件均可以在  https://github.com/happyfish100  官網下載

二、首先安裝Nginx，步驟以下：

  a）、安裝Ngix所須要的環境：

yum install gcc-c++ 
yum install -y pcre pcre-devel
yum install -y zlib zlib-devel
yum install -y openssl openssl-devel

b）進入到安裝目錄

執行解壓命令：

進入目錄：cd  /duanml/softpackages/nginx-1.13.12

③ 使用默認配置

# ./configure

④ 編譯、安裝

# make
# make install

⑤ 啓動nginx

複製代碼 
# cd /usr/local/nginx/sbin/
# ./nginx 

其它命令
# ./nginx -s stop
# ./nginx -s quit
# ./nginx -s reload
複製代碼

⑥ 設置開機啓動

複製代碼 
# vim /etc/rc.local

添加一行：
/usr/local/nginx/sbin/nginx

# 設置執行權限
# chmod 755 rc.local

 ⑦ 查看nginx的版本及模塊

/usr/local/nginx/sbin/nginx -V

⑧ 防火牆中打開Nginx端口（默認的 80） 

添加後就能在本機使用80端口訪問了。

添加端口

firewall-cmd --zone=public --add-port=80/tcp --permanent 

從新載入

firewall-cmd --reload

c)、訪問文件

簡單的測試訪問文件

① 修改nginx.conf    這個地址爲將要安裝的fastdfs的目錄 /duanml/fastdfs/alldata/data/

複製代碼 
# vim /usr/local/nginx/conf/nginx.conf

添加以下行，將 /group1/M00 映射到 /duanml/fastdfs/alldata/data/
location /group1/M00 {
    alias /duanml/fastdfs/alldata/data/;
}

# 重啓nginx
# /usr/local/nginx/sbin/nginx -s reload

 

三、安裝  libfastcommon

② 解壓 並進入解壓目錄 cd 

 

③ 編譯、安裝

# ./make.sh
# ./make.sh install

④ libfastcommon.so 安裝到了/usr/lib64/libfastcommon.so，可是FastDFS主程序設置的lib目錄是/usr/local/lib，因此須要建立軟連接。

# ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so
# ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so
# ln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so
# ln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so

 四、安裝 fastdfs-master.zip 文件

② 解壓 後並進入到解壓目錄

③ 編譯、安裝

# ./make.sh
# ./make.sh install
④ 默認安裝方式安裝後的相應文件與目錄
　　A、服務腳本：  安裝後的目錄  結構：/etc/init.d

B、配置文件（這三個是做者給的樣例配置文件） :

/etc/fdfs/client.conf.sample
/etc/fdfs/storage.conf.sample
/etc/fdfs/tracker.conf.sample
 

 C、命令工具在 /usr/bin/ 目錄下：
 

 

⑤ FastDFS 服務腳本設置的 bin 目錄是 /usr/local/bin， 但實際命令安裝在 /usr/bin/ 下。
 

　　創建 /usr/bin 到 /usr/local/bin 的軟連接，我是用這種方式。
 

# ln -s /usr/bin/fdfs_trackerd   /usr/local/bin
# ln -s /usr/bin/fdfs_storaged   /usr/local/bin
# ln -s /usr/bin/stop.sh         /usr/local/bin
# ln -s /usr/bin/restart.sh      /usr/local/bin
 

五、配置FastDFS跟蹤器(Tracker)
 

① 進入 /etc/fdfs，複製 FastDFS 跟蹤器樣例配置文件 tracker.conf.sample，並重命名爲 tracker.conf。
 

 
 
# cd /etc/fdfs
# cp tracker.conf.sample tracker.conf
# vim tracker.conf
 

 

② 編輯tracker.conf ，標紅的須要修改下，其它的默認便可。
 

 
 
 
  複製代碼 
 
 
 
# 配置文件是否不生效，false 爲生效
disabled=false

# 提供服務的端口
port=22122

# Tracker 數據和日誌目錄地址(根目錄必須存在,子目錄會自動建立)
base_path=/duanml/fastdfs/alldata/tracker

# HTTP 服務端口
http.server_port=80
 
 
 
  複製代碼 
 
 

 

③ 建立tracker基礎數據目錄，即base_path對應的目錄
 

 
 
# mkdir -p /duanml/fastdfs/alldata/tracker
 

 

④ 防火牆中打開跟蹤端口（默認的22122）
 

 
 

   添加 
  

    firewall-cmd  
   --zone=public --add-port=22122/tcp --permanent    （--permanent永久生效，沒有此參數重啓後失效） 
  
 
  

    從新載入 
  
 
  
 
   firewall-cmd --reload 
  
 
 
 

 

⑤ 啓動Tracker
 

初次成功啓動，會在 /duanml/fastdfs/alldata/tracker  (配置的base_path)下建立 data、logs 兩個目錄。
 

 
 
能夠用這種方式啓動
# /etc/init.d/fdfs_trackerd start

也能夠用這種方式啓動，前提是上面建立了軟連接，後面都用這種方式
# service fdfs_trackerd start
 

 

查看 FastDFS Tracker 是否已成功啓動 ，22122端口正在被監聽，則算是Tracker服務安裝成功。
 

 

⑥ 設置Tracker開機啓動
 

 
 
# chkconfig fdfs_trackerd on

或者：
# vim /etc/rc.d/rc.local
加入配置：
/etc/init.d/fdfs_trackerd start 
 

 

 

六、配置 FastDFS 存儲 (Storage)
 

① 進入 /etc/fdfs 目錄，複製 FastDFS 存儲器樣例配置文件 storage.conf.sample，並重命名爲 storage.conf
 

 
 
# cd /etc/fdfs
# cp storage.conf.sample storage.conf
# vim storage.conf
 

 

② 編輯storage.conf  
 

   本機IP 爲：192.168.0.117
 

標紅的須要修改，其它的默認便可。
 

 
 
 
  複製代碼 
 
 
 
# 配置文件是否不生效，false 爲生效
disabled=false 

# 指定此 storage server 所在 組(卷)
group_name=group1

# storage server 服務端口
port=23000

# 心跳間隔時間，單位爲秒 (這裏是指主動向 tracker server 發送心跳)
heart_beat_interval=30

# Storage 數據和日誌目錄地址(根目錄必須存在，子目錄會自動生成)
base_path=/duanml/fastdfs/alldata/storage

# 存放文件時 storage server 支持多個路徑。這裏配置存放文件的基路徑數目，一般只配一個目錄。
store_path_count=1


# 逐一配置 store_path_count 個路徑，索引號基於 0。
# 若是不配置 store_path0，那它就和 base_path 對應的路徑同樣。
store_path0=/duanml/fastdfs/alldata

# FastDFS 存儲文件時，採用了兩級目錄。這裏配置存放文件的目錄個數。 
# 若是本參數只爲 N（如： 256），那麼 storage server 在初次運行時，會在 store_path 下自動建立 N * N 個存放文件的子目錄。
subdir_count_per_path=256

# tracker_server 的列表 ，會主動鏈接 tracker_server
# 有多個 tracker server 時，每一個 tracker server 寫一行
tracker_server=192.168.0.117:22122

# 容許系統同步的時間段 (默認是全天) 。通常用於避免高峯同步產生一些問題而設定。
sync_start_time=00:00
sync_end_time=23:59
 
 
# 訪問端口
http.server_port=80
 
 
 
  複製代碼 
 
 

 

③ 建立Storage基礎數據目錄，對應base_path目錄
 

 
 
# mkdir -p  /duanml/fastdfs/alldata/storage
 
 
# 這是配置的store_path0路徑 
# mkdir -p /duanml/fastdfs/alldata
 

 

 ④ 防火牆中打開存儲器端口（默認的 23000） 
 

添加
 


  firewall-cmd  
 --zone=public --add-port=23000/tcp --permanent    （--permanent永久生效，沒有此參數重啓後失效） 

 


  從新載入 

 

 
 firewall-cmd --reload 

 

 

⑤ 啓動 Storage
 

啓動Storage前確保Tracker是啓動的。初次啓動成功，會在 /ljzsg/fastdfs/storage 目錄下建立 data、 logs 兩個目錄。
 

 
 
能夠用這種方式啓動
# /etc/init.d/fdfs_storaged start

也能夠用這種方式，後面都用這種
# service fdfs_storaged start
 

 

查看 Storage 是否成功啓動，23000 端口正在被監聽，就算 Storage 啓動成功。
 

 

查看Storage和Tracker是否在通訊：
 

 
 
/usr/bin/fdfs_monitor /etc/fdfs/storage.conf
 

 

 

⑥ 設置 Storage 開機啓動
 

 
 
# chkconfig fdfs_storaged on

 
 
或者：
# vim /etc/rc.d/rc.local
加入配置：
/etc/init.d/fdfs_storaged start
 

 

七、文件上傳測試
 

① 修改 Tracker 服務器中的客戶端配置文件 
 

 
 
# cd /etc/fdfs
# cp client.conf.sample client.conf
# vim client.conf
 

 

修改以下配置便可，其它默認。
 

 
 
# Client 的數據和日誌目錄
base_path=/duanml/fastdfs/alldata
 
 
# Tracker端口 
tracker_server=192.168.0.117:22122
 

 

② 上傳測試
 

 在linux內部執行以下命令上傳 namei.jpeg 圖片
 

 
 
# /usr/bin/fdfs_upload_file   /etc/fdfs/client.conf   /duanml/fastdfs/timg.jpg
 

 

上傳成功後返回文件ID號：group1/M00/00/00/wKgz6lnduTeAMdrcAAEoRmXZPp870.jpeg


 

八、FastDFS 配置 Nginx 模塊
 

一、安裝配置Nginx模塊
 

① fastdfs-nginx-module 模塊說明
 

　　FastDFS 經過 Tracker 服務器，將文件放在 Storage 服務器存儲， 可是同組存儲服務器之間須要進行文件複製， 有同步延遲的問題。
 

　　假設 Tracker 服務器將文件上傳到了 192.168.51.128，上傳成功後文件 ID已經返回給客戶端。
 

　　此時 FastDFS 存儲集羣機制會將這個文件同步到同組存儲 192.168.51.129，在文件尚未複製完成的狀況下，客戶端若是用這個文件 ID 在 192.168.51.129 上取文件,就會出現文件沒法訪問的錯誤。
 

　　而 fastdfs-nginx-module 能夠重定向文件連接到源服務器取文件，避免客戶端因爲複製延遲致使的文件沒法訪問錯誤。
 

② 下載 fastdfs-nginx-module、解壓
 

 

③ 配置Nginx
 

在nginx中添加模塊
 

 
 
 
  複製代碼 
 
 
 
# 先停掉nginx服務
# /usr/local/nginx/sbin/nginx -s stop
 
 
進入解壓包目錄
# cd /duanml/softpackages/nginx-1.13.12/

# 添加模塊
# ./configure --add-module=/duanml/softpackages/fastdfs-nginx-module-master/src

從新編譯、安裝
# make && make install
 
 
 
  複製代碼 
 
 

 

④ 查看Nginx的模塊
 

 
 
# /usr/local/nginx/sbin/nginx -V
 

 

有下面這個就說明添加模塊成功
 

 

⑤ 複製 fastdfs-nginx-module 源碼中的配置文件到/etc/fdfs 目錄， 並修改
 

 
 
# cd /duanml/softpackages/fastdfs-nginx-module-master/src

# cp mod_fastdfs.conf /etc/fdfs/
 

 

修改以下配置，其它默認
 

 
 
 
  複製代碼 
 
 
 
# 鏈接超時時間
connect_timeout=10

# Tracker Server
tracker_server=192.168.0.117:22122

# StorageServer 默認端口
storage_server_port=23000

# 若是文件ID的uri中包含/group**，則要設置爲true
url_have_group_name = true

# Storage 配置的store_path0路徑，必須和storage.conf中的一致
store_path0=/duanml/fastdfs/alldata
 
 
 
  複製代碼 
 
 

 

⑥ 複製 FastDFS 的部分配置文件到/etc/fdfs 目錄
 

 
 
# cd /duanml/softpackages/fastdfs-master/conf/

# cp anti-steal.jpg http.conf mime.types /etc/fdfs/
 

 

 ⑦ 配置nginx，修改nginx.conf
 

 
 
# vim /usr/local/nginx/conf/nginx.conf
 

 

修改配置，其它的默認
 

在80端口下添加fastdfs-nginx模塊
 

 
 
location ~/group([0-9])/M00 {
    ngx_fastdfs_module;
}
 

 

 

注意：
 

　　listen 80 端口值是要與 /etc/fdfs/storage.conf 中的 http.server_port=80 (前面改爲80了)相對應。若是改爲其它端口，則須要統一，同時在防火牆中打開該端口。
 

　　location 的配置，若是有多個group則配置location ~/group([0-9])/M00 ，沒有則不用配group。
 

 
 

 
 

⑨ 啓動nginx
 

 
 
# /usr/local/nginx/sbin/nginx
 

 

打印處以下就算配置成功
 

 

⑩ 在地址欄訪問。
 

能下載文件就算安裝成功。注意和第三點中直接使用nginx路由訪問不一樣的是，這裏配置 fastdfs-nginx-module 模塊，能夠重定向文件連接到源服務器取文件。
 

http://192.168.0.117/group1/M00/00/00/wKgAdVslrqyAbRlQAACXt62Il6w801.jpg
 

最終部署結構圖(盜的圖)：能夠按照下面的結構搭建環境。

 



        

            

        	





    

		

            
相關文章

            

                

                

                    

                

            


            
相關標籤/搜索

            
        


    

        

            

        

        

        
        

        

        

    




	

    





    

    	

    

        每日一句
    

    
    
    	每一个你不满意的现在，都有一个你没有努力的曾经。
    







    

    


    



    

        本站公眾號
    

    

           歡迎關注本站公眾號,獲取更多信息

        
    




    

    




	


	







    

        聯繫我們
        最近搜索
        最新文章
        
        沪ICP备13005482号-10

            MyBatis教程
            SQL 教程
            MySQL教程
            Java 教程
            Thymeleaf 教程
            Hibernate教程
            Spring教程 
            Redis教程