輕量級分佈式文件系統FastDFS

 

FastDFS

 

簡介

技術論壇： http://bbs.chinaunix.net/forum-240-1.html

資源地址： https://sourceforge.net/projects/fastdfs/

源碼資源： https://github.com/happyfish100

 

FastDFS是一個開源的輕量級分佈式文件系統，它對文件進行管理，功能包括：文件存儲、文件同步、文件訪問（文件上傳、文件下載）等，解決了大容量存儲和負載均衡的問題。特別適合以文件爲載體的在線服務，如相冊網站、視頻網站等等。

FastDFS爲互聯網量身定製，充分考慮了冗餘備份、負載均衡、線性擴容等機制，並注重高可用、高性能等指標，使用FastDFS很容易搭建一套高性能的文件服務器集羣提供文件上傳、下載等服務。

FastDFS服務端有兩個角色：跟蹤器（tracker）和存儲節點（storage）。跟蹤器主要作調度工做，在訪問上起負載均衡的做用。

存儲節點存儲文件，完成文件管理的全部功能：就是這樣的存儲、同步和提供存取接口，FastDFS同時對文件的metadata進行管理。所謂文件的meta data就是文件的相關屬性，以鍵值對（key value）方式表示，如：width=1024，其中的key爲width，value爲1024。文件metadata是文件屬性列表，能夠包含多個鍵值對。

跟蹤器和存儲節點均可以由一臺或多臺服務器構成。跟蹤器和存儲節點中的服務器都可以隨時增長或下線而不會影響線上服務。其中跟蹤器中的全部服務器都是對等的，能夠根據服務器的壓力狀況隨時增長或減小。

爲了支持大容量，存儲節點（服務器）採用了分卷（或分組）的組織方式。存儲系統由一個或多個卷組成，卷與卷之間的文件是相互獨立的，全部卷的文件容量累加就是整個存儲系統中的文件容量。一個卷能夠由一臺或多臺存儲服務器組成，一個卷下的存儲服務器中的文件都是相同的，卷中的多臺存儲服務器起到了冗餘備份和負載均衡的做用。

在卷中增長服務器時，同步已有的文件由系統自動完成，同步完成後，系統自動將新增服務器切換到線上提供服務。

當存儲空間不足或即將耗盡時，能夠動態添加捲。只須要增長一臺或多臺服務器，並將它們配置爲一個新的卷，這樣就擴大了存儲系統的容量。

FastDFS中的文件標識分爲兩個部分：卷名和文件名，兩者缺一不可。

 

架構圖

 

 

 

上傳流程

 

 

client詢問tracker上傳到的storage，不須要附加參數；

tracker返回一臺可用的storage；

client直接和storage通信完成文件上傳

 

下載流程

 

 

client詢問tracker下載文件的storage，參數爲文件標識（組名和文件名）；

tracker返回一臺可用的storage；

client直接和storage通信完成文件下載。

 

術語簡介

Tracker Server：跟蹤服務器，主要作調度工做，在訪問上起負載均衡的做用。記錄storage server的狀態，是鏈接Client和Storage server的樞紐。

Storage Server：存儲服務器，文件和meta data都保存到存儲服務器上

group：組，也稱爲卷。同組內服務器上的文件是徹底相同的

文件標識：包括兩部分：組名和文件名（包含路徑）

meta data：文件相關屬性，鍵值對（Key Value Pair）方式，如：width=1024,heigth=768

 

同步機制

同一組內的storage server之間是對等的，文件上傳、刪除等操做能夠在任意一臺storage server上進行；

文件同步只在同組內的storage server之間進行，採用push方式，即源服務器同步給目標服務器；

源頭數據才須要同步，備份數據不須要再次同步，不然就構成環路了；

上述第二條規則有個例外，就是新增長一臺storage server時，由已有的一臺storage server將已有的全部數據（包括源頭數據和備份數據）同步給該新增服務器

 

FastDFS運行時目錄結構

 

Tracker Server目錄

${base_path}

   |__data

   |     |__storage_groups.dat：存儲分組信息

   |     |__storage_servers.dat：存儲服務器列表

   |__logs

         |__trackerd.log：tracker server日誌文件

 

Storage Server目錄

${base_path}

   |__data

   |     |__.data_init_flag：當前storage server初始化信息

   |     |__storage_stat.dat：當前storage server統計信息

   |     |__sync：存放數據同步相關文件

   |     |     |__binlog.index：當前的binlog文件索引號

   |     |     |__binlog.###：存放更新操做記錄（日誌）

   |     |     |__${ip_addr}_${port}.mark：存放同步的完成狀況

   |     |

   |     |__一級目錄：256個存放數據文件的目錄，如：00, 1F

   |           |__二級目錄：256個存放數據文件的目錄

   |__logs

         |__storaged.log：storage server日誌文件

 

FastDFS和其餘文件存儲的簡單對比

 

FastDFS和集中存儲方式對比

 

FastDFS和mogileFS對比