FastDFS分佈式文件系統

FastDFS簡介

•FastDFS是一個輕量級的開源分佈式文件系統

•FastDFS主要解決了大容量的文件存儲和高併發訪問的問題，文件存取時實現了負載均衡

•FastDFS實現了軟件方式的RAID，能夠使用廉價的IDE硬盤進行存儲

•支持存儲服務器在線擴容

•支持相同內容的文件只保存一份，節約磁盤空間

•FastDFS只能經過ClientAPI訪問，不支持POSIX訪問方式

•FastDFS特別適合大中型網站使用，用來存儲資源文件（如：圖片、文檔、音頻、視頻等等）

系統架構－架構圖

系統架構－上傳文件流程圖

• 1. client詢問tracker上傳到的storage，不須要附加參數；

• 2. tracker返回一臺可用的storage；

• 3. client直接和storage通信完成文件上傳。

系統架構－下載文件流程圖

• 1. client詢問tracker下載文件的storage，參數爲文件標識（組名和文件名）；

• 2. tracker返回一臺可用的storage；

• 3. client直接和storage通信完成文件下載。

相關術語

• Tracker Server：跟蹤服務器，主要作調度工做，在訪問上起負載均衡的做用。記錄storage server的狀態，是鏈接Client和Storageserver的樞紐。

• Storage Server：存儲服務器，文件和meta data都保存到存儲服務器上

• group：組，也可稱爲卷。同組內服務器上的文件是徹底相同的

• 文件標識：包括兩部分：組名和文件名（包含路徑）

• meta data：文件相關屬性，鍵值對（Key Value Pair）方式，如：width=1024,heigth=768

同步機制

•同一組內的storageserver之間是對等的，文件上傳、刪除等操做能夠在任意一臺storage server上進行；

•文件同步只在同組內的storage server之間進行，採用push方式，即源服務器同步給目標服務器；

•源頭數據才須要同步，備份數據不須要再次同步，不然就構成環路了；

•上述第二條規則有個例外，就是新增長一臺storage server時，由已有的一臺storageserver將已有的全部數據（包括源頭數據和備份數據）同步給該新增服務器。

通訊協議

• 協議包由兩部分組成：header和body

• header共10字節，格式以下：

– 8 bytes body length

– 1 byte command

– 1 byte status

• body數據包格式由取決於具體的命令，body能夠爲空

運行時目錄結構－tracker server

• ${base_path}

|__data

| |__storage_groups.dat：存儲分組信息

| |__storage_servers.dat：存儲服務器列表

|__logs

|__trackerd.log：trackerserver日誌文件

運行時目錄結構－storage server

• ${base_path}

|__data

| |__.data_init_flag：當前storageserver初始化信息

| |__storage_stat.dat：當前storage server統計信息

| |__sync：存放數據同步相關文件

| | |__binlog.index：當前的binlog文件索引號

| | |__binlog.###：存放更新操做記錄（日誌）

| | |__${ip_addr}_${port}.mark：存放同步的完成狀況

| |

| |__一級目錄：256個存放數據文件的目錄，如：00, 1F

| |__二級目錄：256個存放數據文件的目錄

|__logs

|__storaged.log：storageserver日誌文件

安裝和運行

•#step 1. download FastDFS source package and unpack it,

•# if you use HTTP to download file, please downloadlibevent 1.4.x and install it

•tar xzf FastDFS_v1.x.tar.gz

•#for example:

•tar xzf FastDFS_v1.20.tar.gz

•

•#step 2. enter the FastDFS dir

•cd FastDFS

•

•#step 3. if HTTP supported, modify make.sh, uncommentthe line:

•# WITH_HTTPD=1, then execute:

•./make.sh

•

•#step 4. make install

•./make.sh install

•

•#step 5. edit/modify the config file of tracker andstorage

•

•#step 6. run server programs

•#start the tracker server:

•/usr/local/bin/fdfs_trackerd

•

•#start the storage server:

•/usr/local/bin/fdfs_storaged

FastDFS和集中存儲方式對比

• FastDFS中文：www.csource.org/

• FastDFS英文：code.google.com/p/fastdfs/

官網資料，分享給你們學習

願意瞭解框架技術或者源碼的朋友直接求求：2042849237

更多詳細源碼參考來源