FastDFS是一個開源的輕量級分佈式文件系統,它對文件進行管理,功能包括:文件存儲、文件同步、文件訪問(文件上傳、文件下載)等,解決了大容量存儲和負載均衡的問題。特別適合以文件爲載體的在線服務,如相冊網站、視頻網站等等。java
FastDFS爲互聯網量身定製,充分考慮了冗餘備份、負載均衡、線性擴容等機制,並注重高可用、高性能等指標,使用FastDFS很容易搭建一套高性能的文件服務器集羣提供文件上傳、下載等服務。nginx
FastDFS服務端有兩個角色:跟蹤器(tracker)和存儲節點(storage)。跟蹤器主要作調度工做,在訪問上起負載均衡的做用。c++
跟蹤器和存儲節點均可以由一臺或多臺服務器構成。跟蹤器和存儲節點中的服務器都可以隨時增長或下線而不會影響線上服務。其中跟蹤器中的全部服務器都是對等的,能夠根據服務器的壓力狀況隨時增長或減小。git
在卷中增長服務器時,同步已有的文件由系統自動完成,同步完成後,系統自動將新增服務器切換到線上提供服務。github
名稱 | 角色 | IP地址 |
---|---|---|
centos7-1 | tracker | 192.168.142.66 |
centos7-2 | storage+nginx | 192.168.142.77 |
安裝基礎環境包vim
[root@storage ~]# yum -y install libevent libevent-devel perl make gcc zlib zlib-devel pcre pcre-devel gcc-c++ openssl-devel
安裝libfastcommoncentos
[root@storage ~]# wget https://github.com/happyfish100/libfastcommon/archive/V1.0.38.tar.gz [root@storage ~]# tar zxf V1.0.38.tar.gz -C /opt/ [root@storage ~]# cd /opt/libfastcommon-1.0.38/
編譯並創建軟連接以方便系統識別服務器
#編譯安裝 [root@storage libfastcommon-1.0.38]# ./make.sh && ./make.sh install #創建軟連接方便系統識別 [root@storage libfastcommon-1.0.38]# ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so [root@storage libfastcommon-1.0.38]# ln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so [root@storage libfastcommon-1.0.38]# ln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so
下載安裝app
#安裝fastDFS [root@storage ~]# wget https://github.com/happyfish100/fastdfs/archive/V5.11.tar.gz [root@storage ~]# tar zxf V5.11.tar.gz -C /opt/ [root@storage ~]# cd /opt/fastdfs-5.11/
編譯負載均衡
#編譯安裝 [root@storage fastdfs-5.11]# ./make.sh && ./make.sh install
將模板文件進行更改
[root@storage fastdfs-5.11]# cd /etc/fdfs/ //配置文件模板路徑 [root@storage fdfs]# cp tracker.conf.sample tracker.conf [root@storage fdfs]# cp storage.conf.sample storage.conf [root@storage fdfs]# cp client.conf.sample client.conf
創建數據文件、日誌文件存放目錄
[root@tracker ~]# mkdir -m 755 -p /opt/fastdfs
修改tracker配置文件
[root@tracker ~]# vim /etc/fdfs/tracker.conf #修改如下配置 port=22122 //tracker服務默認端口22122便可 base_path=/opt/fastdfs //tracker存儲data和log的跟路徑,必須提早建立好 http.server_port=8080 //tracker服務器上啓動http服務進程,沒裝忽略
開啓服務並設置開機自啓
#開啓服務(命令支持start|stop|restart) [root@tracker ~]# fdfs_trackerd /etc/fdfs/tracker.conf start [root@tracker ~]# netstat -atnp | grep 22122 tcp 0 0 0.0.0.0:22122 0.0.0.0:* LISTEN 43776/fdfs_trackerd #設置開機自啓 [root@tracker ~]# vim /etc/rc.local #末行添加 fdfs_trackerd /etc/fdfs/tracker.conf start [root@tracker ~]# systemctl stop firewalld [root@tracker ~]# setenforce 0
創建數據文件、日誌文件存放目錄
[root@storage ~]# mkdir -m 755 -p /opt/fastdfs
修改storage配置文件
[root@storage ~]# vim /etc/fdfs/storage.conf #修改如下配置 group_name=group1 //默認組名,根據實際狀況修改 port=23000 //storge默認23000,同一個組的storage端口號必須一致 base_path=/opt/fastdfs //storage日誌文件的根路徑 store_path_count=1 //與下面路徑個數相同,默認爲1 store_path0=/opt/fastdfs //提供的存儲路徑(默認與日誌文件存放在一塊兒) tracker_server=192.168.142.66:22122 //本身的tracker服務器IP(重點!!!) http.server_port=80 //http訪問文件的端口默認爲8888,nginx中配置的監聽端口保持一致
開啓服務並設置開機自啓
#開啓服務(命令支持start|stop|restart) [root@storage ~]# fdfs_storaged /etc/fdfs/storage.conf start [root@storage ~]# netstat -atnp | grep 23000 tcp 0 0 0.0.0.0:23000 0.0.0.0:* LISTEN 40430/fdfs_storaged #設置開機自啓 [root@storage ~]# vim /etc/rc.local #末行添加 fdfs_storaged /etc/fdfs/storage.conf start [root@storage ~]# systemctl stop firewalld [root@storage ~]# setenforce 0
檢查是否與tracker監控端關聯成功
[root@storage ~]# fdfs_monitor /etc/fdfs/storage.conf Storage 1: id = 192.168.142.77 ip_addr = 192.168.142.77 (storage) ACTIVE http domain = ......省略
這裏爲了減小虛擬機開啓的數量,就在storage端進行nginx的安裝
安裝nginx及其組件
[root@storage ~]# tar zxf nginx-1.12.0.tar.gz -C /opt/ #下載fastdfs-nginx-module安裝包 [root@storage ~]# wget https://github.com/happyfish100/fastdfs-nginx-module/archive/V1.20.tar.gz [root@storage ~]# tar zxf V1.20.tar.gz -C /opt/
編譯&安裝
[root@storage ~]# cd /opt/nginx-1.12.0 [root@storage nginx-1.12.0]# ./configure \ --prefix=/usr/local/nginx \ --add-module=/opt/fastdfs-nginx-module-1.20/src/ //fastdfs-nginx-module模塊 [root@storage nginx-1.12.0]# make && make install
注意:
可能的報錯:
/usr/include/fastdfs/fdfs_define.h:15:27: fatal error: common_define.h: No such file or directory解決方案:
修改fastdfs-nginx-module-1.20/src/config文件,而後從新第7步開始
ngx_module_incs="/usr/include/fastdfs /usr/include/fastcommon/"
CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"
配置fastdfs-nginx-module模塊
[root@storage nginx-1.12.0]# cd fastdfs-nginx-module-1.20/src [root@storage nginx-1.12.0]# cp mod_fastdfs.conf /etc/fdfs/ //移動其配置文件至fdfs目錄下 #修改fastdfs-nginx-module模塊配置文件mod-fasts.conf [root@storage nginx-1.12.0]# cd /etc/fdfs [root@storage fdfs]# vim mod_fastdfs.conf #檢查一下配置 base_path=/opt/fastdfs //存放數據文件、日誌的路徑 tracker_server=192.168.142.66:22122 //tracker端的地址(重點!!!) url_have_group_name = true //url是否包含group名稱 storage_server_port=23000 //須要和storage配置的相同 store_path_count=1 //存儲路徑個數,須要和store_path個數匹配 store_path0=/opt/fastdfs //文件存儲的位置
修改nginx配置文件
[root@storage fdfs]# vim /usr/local/nginx/conf/nginx.conf #空行處添加 location ~/M00 { root /opt/fastdfs/data; ngx_fastdfs_module; }
拷貝fastdfs解壓目錄中的http.conf和mime.types
#不作這步可能會致使報錯 [root@storage fdfs]# cd /opt/fastdfs-5.11/conf/ [root@storage conf]# cp mime.types http.conf /etc/fdfs/
修改配置文件
[root@storage ~]# vim /etc/fdfs/client.conf #檢查如下配置 base_path=/opt/fastdfs //tracker服務器文件路徑 tracker_server=192.168.142.66:22122 //tracker服務器IP地址和端口號 http.tracker_server_port=8080 // tracker服務器的http端口號,必須和tracker的設置對應起來
上傳測試文件
命令:
/usr/bin/fdfs_upload_file <config_file> <local_filename>
實例:
/usr/bin/fdfs_upload_file /etc/fdfs/client.conf test.jpg
效果以下
下載文件
命令:
/usr/bin/fdfs_download_file <config_file> <file_id> [local_filename]
實例:
/usr/bin/fdfs_download_file /etc/fdfs/client.conf group1/M00/00/00/wKiOTV354W2AIf7GAAAAEh3TEws726.jpg test2.jpg
刪除文件
命令:
/usr/bin/fdfs_delete_file <config_file> <file_id>
實例:
fdfs_delete_file /etc/fdfs/client.conf group1/M00/00/00/wKiOTV354W2AIf7GAAAAEh3TEws726.jpg