fastDFS部署及客戶端的開發
非常好的指引資料 https://www.cnblogs.com/chiangchou/p/fastdfs.html
按照這個指引可以完整不fastdfs部署出來，然後通過客戶端（linux）進行文件上傳下載，
安裝FastDFS環境
操作環境：CentOS7 X64，以下操作都是單機環境。
# vim /etc/hosts 增加如下一行，這是我的IP 192.168.51.128 file.ljzsg.com
1、下載安裝 libfastcommon
libfastcommon是從 FastDFS 和 FastDHT 中提取出來的公共 C 函數庫，基礎環境，安裝即可 。
① 下載libfastcommon
# wget https://github.com/happyfish100/libfastcommon/archive/V1.0.7.tar.gz
② 解壓
# tar -zxvf V1.0.7.tar.gz # cd libfastcommon-1.0.7
③ 編譯、安裝
# ./make.sh # ./make.sh install
④ libfastcommon.so 安裝到了/usr/lib64/libfastcommon.so，但是FastDFS主程序設置的lib目錄是/usr/local/lib，所以需要創建軟鏈接。
# ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so # ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so # ln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so # ln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so
2、下載安裝FastDFS
① 下載FastDFS
# wget https://github.com/happyfish100/fastdfs/archive/V5.05.tar.gz
② 解壓
# tar -zxvf V5.05.tar.gz # cd fastdfs-5.05
③ 編譯、安裝
# ./make.sh # ./make.sh install
④ 默認安裝方式安裝後的相應文件與目錄
A、服務腳本：
/etc/init.d/fdfs_storaged /etc/init.d/fdfs_tracker
B、配置文件（這三個是作者給的樣例配置文件） :
/etc/fdfs/client.conf.sample /etc/fdfs/storage.conf.sample /etc/fdfs/tracker.conf.sample
C、命令工具在 /usr/bin/ 目錄下
fdfs_appender_test fdfs_appender_test1 fdfs_append_file fdfs_crc32 fdfs_delete_file fdfs_download_file fdfs_file_info fdfs_monitor fdfs_storaged fdfs_test fdfs_test1 fdfs_trackerd fdfs_upload_appender fdfs_upload_file stop.sh restart.sh
⑤ FastDFS 服務腳本設置的 bin 目錄是 /usr/local/bin， 但實際命令安裝在 /usr/bin/ 下。
創建軟連接
# ln -s /usr/bin/fdfs_trackerd /usr/local/bin # ln -s /usr/bin/fdfs_storaged /usr/local/bin # ln -s /usr/bin/stop.sh /usr/local/bin # ln -s /usr/bin/restart.sh /usr/local/bin
3、配置FastDFS跟蹤器(Tracker)
配置文件詳細說明參考：FastDFS 配置文件詳解
① 進入 /etc/fdfs，複製 FastDFS 跟蹤器樣例配置文件 tracker.conf.sample，並重命名爲 tracker.conf。
# cd /etc/fdfs # cp tracker.conf.sample tracker.conf # vim tracker.conf
② 編輯tracker.conf ，標紅的需要修改下，其它的默認即可。
# 配置文件是否不生效，false 爲生效 disabled=false # 提供服務的端口 port=22122 # Tracker 數據和日誌目錄地址(根目錄必須存在,子目錄會自動創建) base_path=/ljzsg/fastdfs/tracker # HTTP 服務端口 http.server_port=80
③ 創建tracker基礎數據目錄，即base_path對應的目錄
# mkdir -p /ljzsg/fastdfs/tracker
④ 防火牆中打開跟蹤端口（默認的22122）
# vim /etc/sysconfig/iptables 添加如下端口行： -A INPUT -m state --state NEW -m tcp -p tcp --dport 22122 -j ACCEPT 重啓防火牆： # service iptables restart
⑤ 啓動Tracker
初次成功啓動，會在 /ljzsg/fdfsdfs/tracker/ (配置的base_path)下創建 data、logs 兩個目錄。
可以用這種方式啓動 # /etc/init.d/fdfs_trackerd start 也可以用這種方式啓動，前提是上面創建了軟鏈接，後面都用這種方式 # service fdfs_trackerd start
查看 FastDFS Tracker 是否已成功啓動 ，22122端口正在被監聽，則算是Tracker服務安裝成功。
# netstat -unltp|grep fdfs
關閉Tracker命令：
# service fdfs_trackerd stop
⑥ 設置Tracker開機啓動
# chkconfig fdfs_trackerd on 或者： # vim /etc/rc.d/rc.local 加入配置： /etc/init.d/fdfs_trackerd start
⑦ tracker server 目錄及文件結構
Tracker服務啓動成功後，會在base_path下創建data、logs兩個目錄。
4、配置 FastDFS 存儲 (Storage)
① 進入 /etc/fdfs 目錄，複製 FastDFS 存儲器樣例配置文件 storage.conf.sample，並重命名爲 storage.conf
# cd /etc/fdfs # cp storage.conf.sample storage.conf # vim storage.conf
② 編輯storage.conf
標紅的需要修改，其它的默認即可。
# 配置文件是否不生效，false 爲生效 disabled=false # 指定此 storage server 所在 組(卷) group_name=group1 # storage server 服務端口 port=23000 # 心跳間隔時間，單位爲秒 (這裏是指主動向 tracker server 發送心跳) heart_beat_interval=30 # Storage 數據和日誌目錄地址(根目錄必須存在，子目錄會自動生成) base_path=/ljzsg/fastdfs/storage # 存放文件時 storage server 支持多個路徑。這裏配置存放文件的基路徑數目，通常只配一個目錄。 store_path_count=1 # 逐一配置 store_path_count 個路徑，索引號基於 0。 # 如果不配置 store_path0，那它就和 base_path 對應的路徑一樣。 store_path0=/ljzsg/fastdfs/file # FastDFS 存儲文件時，採用了兩級目錄。這裏配置存放文件的目錄個數。 # 如果本參數只爲 N（如： 256），那麼 storage server 在初次運行時，會在 store_path 下自動創建 N * N 個存放文件的子目錄。 subdir_count_per_path=256 # tracker_server 的列表 ，會主動連接 tracker_server # 有多個 tracker server 時，每個 tracker server 寫一行 tracker_server=file.ljzsg.com:22122 # 允許系統同步的時間段 (默認是全天) 。一般用於避免高峯同步產生一些問題而設定。 sync_start_time=00:00 sync_end_time=23:59
# 訪問端口 http.server_port=80
③ 創建Storage基礎數據目錄，對應base_path目錄
# mkdir -p /ljzsg/fastdfs/storage # 這是配置的store_path0路徑 # mkdir -p /ljzsg/fastdfs/file
④ 防火牆中打開存儲器端口（默認的 23000）
# vim /etc/sysconfig/iptables 添加如下端口行： -A INPUT -m state --state NEW -m tcp -p tcp --dport 23000 -j ACCEPT 重啓防火牆： # service iptables restart
⑤ 啓動 Storage
啓動Storage前確保Tracker是啓動的。初次啓動成功，會在 /ljzsg/fastdfs/storage 目錄下創建 data、 logs 兩個目錄。
可以用這種方式啓動 # /etc/init.d/fdfs_storaged start 也可以用這種方式，後面都用這種 # service fdfs_storaged start
查看 Storage 是否成功啓動，23000 端口正在被監聽，就算 Storage 啓動成功。
# netstat -unltp|grep fdfs
關閉Storage命令：
# service fdfs_storaged stop
查看Storage和Tracker是否在通信：
/usr/bin/fdfs_monitor /etc/fdfs/storage.conf
⑥ 設置 Storage 開機啓動
# chkconfig fdfs_storaged on
或者： # vim /etc/rc.d/rc.local 加入配置： /etc/init.d/fdfs_storaged start
⑦ Storage 目錄
同 Tracker，Storage 啓動成功後，在base_path 下創建了data、logs目錄，記錄着 Storage Server 的信息。
在 store_path0 目錄下，創建了N*N個子目錄：
5、文件上傳測試
① 修改 Tracker 服務器中的客戶端配置文件
# cd /etc/fdfs # cp client.conf.sample client.conf # vim client.conf
修改如下配置即可，其它默認。
# Client 的數據和日誌目錄 base_path=/ljzsg/fastdfs/client # Tracker端口 tracker_server=file.ljzsg.com:22122
② 上傳測試
在linux內部執行如下命令上傳 namei.jpeg 圖片
# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf namei.jpeg
上傳成功後返回文件ID號：group1/M00/00/00/wKgz6lnduTeAMdrcAAEoRmXZPp870.jpeg
返回的文件ID由group、存儲目錄、兩級子目錄、fileid、文件後綴名（由客戶端指定，主要用於區分文件類型）拼接而成。
三、安裝Nginx
上面將文件上傳成功了，但我們無法下載。因此安裝Nginx作爲服務器以支持Http方式訪問文件。同時，後面安裝FastDFS的Nginx模塊也需要Nginx環境。
Nginx只需要安裝到StorageServer所在的服務器即可，用於訪問文件。我這裏由於是單機，TrackerServer和StorageServer在一臺服務器上。
1、安裝nginx所需環境
① gcc 安裝
# yum install gcc-c++
② PCRE pcre-devel 安裝
# yum install -y pcre pcre-devel
③ zlib 安裝
# yum install -y zlib zlib-devel
④ OpenSSL 安裝
# yum install -y openssl openssl-devel
2、安裝Nginx
① 下載nginx
# wget -c https://nginx.org/download/nginx-1.12.1.tar.gz
② 解壓
# tar -zxvf nginx-1.12.1.tar.gz # cd nginx-1.12.1
③ 使用默認配置
# ./configure
④ 編譯、安裝
# make # make install
⑤ 啓動nginx
# cd /usr/local/nginx/sbin/ # ./nginx 其它命令 # ./nginx -s stop # ./nginx -s quit # ./nginx -s reload
⑥ 設置開機啓動
# vim /etc/rc.local 添加一行： /usr/local/nginx/sbin/nginx # 設置執行權限 # chmod 755 rc.local
⑦ 查看nginx的版本及模塊
/usr/local/nginx/sbin/nginx -V
⑧ 防火牆中打開Nginx端口（默認的 80）
添加後就能在本機使用80端口訪問了。
# vim /etc/sysconfig/iptables 添加如下端口行： -A INPUT -m state --state NEW -m tcp -p tcp --dport 80 -j ACCEPT 重啓防火牆： # service iptables restart
3、訪問文件
簡單的測試訪問文件
① 修改nginx.conf
# vim /usr/local/nginx/conf/nginx.conf
添加如下行，將 /group1/M00 映射到 /ljzsg/fastdfs/file/data
location /group1/M00 {
alias /ljzsg/fastdfs/file/data;
}
# 重啓nginx
# /usr/local/nginx/sbin/nginx -s reload
② 在瀏覽器訪問之前上傳的圖片、成功。
http://file.ljzsg.com/group1/M00/00/00/wKgz6lnduTeAMdrcAAEoRmXZPp870.jpeg
四、FastDFS 配置 Nginx 模塊
1、安裝配置Nginx模塊
① fastdfs-nginx-module 模塊說明
FastDFS 通過 Tracker 服務器，將文件放在 Storage 服務器存儲， 但是同組存儲服務器之間需要進行文件複製， 有同步延遲的問題。
假設 Tracker 服務器將文件上傳到了 192.168.51.128，上傳成功後文件 ID已經返回給客戶端。
此時 FastDFS 存儲集羣機制會將這個文件同步到同組存儲 192.168.51.129，在文件還沒有複製完成的情況下，客戶端如果用這個文件 ID 在 192.168.51.129 上取文件,就會出現文件無法訪問的錯誤。
而 fastdfs-nginx-module 可以重定向文件鏈接到源服務器取文件，避免客戶端由於複製延遲導致的文件無法訪問錯誤。
② 下載 fastdfs-nginx-module、解壓
# 這裏爲啥這麼長一串呢，因爲最新版的master與當前nginx有些版本問題。 # wget https://github.com/happyfish100/fastdfs-nginx-module/archive/5e5f3566bbfa57418b5506aaefbe107a42c9fcb1.zip # 解壓 # unzip 5e5f3566bbfa57418b5506aaefbe107a42c9fcb1.zip # 重命名 # mv fastdfs-nginx-module-5e5f3566bbfa57418b5506aaefbe107a42c9fcb1 fastdfs-nginx-module-master
③ 配置Nginx
在nginx中添加模塊
# 先停掉nginx服務 # /usr/local/nginx/sbin/ngix -s stop 進入解壓包目錄 # cd /softpackages/nginx-1.12.1/ # 添加模塊 # ./configure --add-module=../fastdfs-nginx-module-master/src 重新編譯、安裝 # make && make install
④ 查看Nginx的模塊
# /usr/local/nginx/sbin/nginx -V
有下面這個就說明添加模塊成功
⑤ 複製 fastdfs-nginx-module 源碼中的配置文件到/etc/fdfs 目錄， 並修改
# cd /softpackages/fastdfs-nginx-module-master/src # cp mod_fastdfs.conf /etc/fdfs/
修改如下配置，其它默認
# 連接超時時間 connect_timeout=10 # Tracker Server tracker_server=file.ljzsg.com:22122 # StorageServer 默認端口 storage_server_port=23000 # 如果文件ID的uri中包含/group**，則要設置爲true url_have_group_name = true # Storage 配置的store_path0路徑，必須和storage.conf中的一致 store_path0=/ljzsg/fastdfs/file
⑥ 複製 FastDFS 的部分配置文件到/etc/fdfs 目錄
# cd /softpackages/fastdfs-5.05/conf/ # cp anti-steal.jpg http.conf mime.types /etc/fdfs/
⑦ 配置nginx，修改nginx.conf
# vim /usr/local/nginx/conf/nginx.conf
修改配置，其它的默認
在80端口下添加fastdfs-nginx模塊
location ~/group([0-9])/M00 {
ngx_fastdfs_module;
}
注意：
listen 80 端口值是要與 /etc/fdfs/storage.conf 中的 http.server_port=80 (前面改成80了)相對應。如果改成其它端口，則需要統一，同時在防火牆中打開該端口。
location 的配置，如果有多個group則配置location ~/group([0-9])/M00 ，沒有則不用配group。
⑧ 在/ljzsg/fastdfs/file 文件存儲目錄下創建軟連接，將其鏈接到實際存放數據的目錄，這一步可以省略。
# ln -s /ljzsg/fastdfs/file/data/ /ljzsg/fastdfs/file/data/M00
⑨ 啓動nginx
# /usr/local/nginx/sbin/nginx
打印處如下就算配置成功
⑩ 在地址欄訪問。
能下載文件就算安裝成功。注意和第三點中直接使用nginx路由訪問不同的是，這裏配置 fastdfs-nginx-module 模塊，可以重定向文件鏈接到源服務器取文件。
http://file.ljzsg.com/group1/M00/00/00/wKgz6lnduTeAMdrcAAEoRmXZPp870.jpeg
客戶端開發
但是我們服務器部署是拿來用的，大多少情況下是在windows使用，怎麼樣利用java簡單實現他的訪問呢，首先需要一個包：fastdfs-client-java-1.25.jar
我把包放在D盤，
mvn install:install-file -DgroupId=org.csource -DartifactId=fastdfs-client-java -Dversion=5.0.4 -Dpackaging=jar -Dfile=D:\fastdfs-client-java-1.25.jar
在cmd裏面執行以上指令，手工裝到maven，
在pom配置文件加入：
<dependency>
<groupId>org.csource</groupId>
<artifactId>fastdfs-client-java</artifactId>
<version>5.0.4</version>
</dependency>
<dependency>
<groupId>commons-io</groupId>
<artifactId>commons-io</artifactId>
<version>2.4</version>
</dependency>
在resources生成配置文件client.conf
connect_timeout=30
network_timeout=60
tracker_server=192.168.*.*:22122
log_level=info
use_connection_pool = false
connection_pool_max_idle_time = 3600
load_fdfs_parameters_from_tracker=false
use_storage_id = false
storage_ids_filename = storage_ids.conf
http.tracker_server_port=80
http.anti_steal_token = no
http.secret_key = FastDFS1234567890
創建java文件
package com.fastdfs;
import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.IOException;
import java.util.UUID;
import javax.servlet.http.HttpServletRequest;
import org.apache.commons.io.IOUtils;
import org.csource.common.MyException;
import org.csource.common.NameValuePair;
import org.csource.fastdfs.ClientGlobal;
import org.csource.fastdfs.FileInfo;
import org.csource.fastdfs.StorageClient;
import org.csource.fastdfs.StorageServer;
import org.csource.fastdfs.TrackerClient;
import org.csource.fastdfs.TrackerServer;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;
public class TestFastDfs2 {
public String conf_filename = "D:\\code\\git\\SpringMvc\\SpringMvc\\src\\main\\resources\\client.conf";
//public String local_filename = "D:\\code\\git\\SpringMvc\\SpringMvc\\src\\main\\resources\\111.jpg";
@Before
public void setUp() throws Exception {
}
@After
public void tearDown() throws Exception {
}
@Test
public void testUpload(String local_filename,String type) {
try {
ClientGlobal.init(conf_filename);
TrackerClient tracker = new TrackerClient();
TrackerServer trackerServer = tracker.getConnection();
StorageServer storageServer = null;
StorageClient storageClient = new StorageClient(trackerServer, storageServer);
NameValuePair nvp [] = new NameValuePair[]{
new NameValuePair("age", "18"),
new NameValuePair("sex", "male")
};
String fileIds[] = storageClient.upload_file(local_filename, type, nvp);
System.out.println(fileIds.length);
System.out.println("組名：" + fileIds[0]);
System.out.println("路徑: " + fileIds[1]);
} catch (FileNotFoundException e) {
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
} catch (MyException e) {
e.printStackTrace();
}
}
@Test
public void testDownload(String groupId,String path,String downloadpath) {
try {
ClientGlobal.init(conf_filename);
TrackerClient tracker = new TrackerClient();
TrackerServer trackerServer = tracker.getConnection();
StorageServer storageServer = null;
StorageClient storageClient = new StorageClient(trackerServer, storageServer);
byte[] b = storageClient.download_file(groupId, path);
System.out.println(b);
String filename=path.substring(10,path.length());
IOUtils.write(b, new FileOutputStream(downloadpath+filename));
} catch (Exception e) {
e.printStackTrace();
}
}
//獲取文件詳情
@Test
public void testGetFileInfo(){
try {
ClientGlobal.init(conf_filename);
TrackerClient tracker = new TrackerClient();
TrackerServer trackerServer = tracker.getConnection();
StorageServer storageServer = null;
StorageClient storageClient = new StorageClient(trackerServer, storageServer);
FileInfo fi = storageClient.get_file_info("group1", "M00/00/00/hHXIQVq0o76AcLwdAAJGbMNBxko743.png");
System.out.println(fi.getSourceIpAddr());
System.out.println(fi.getFileSize());
System.out.println(fi.getCreateTimestamp());
System.out.println(fi.getCrc32());
} catch (Exception e) {
e.printStackTrace();
}
}
//獲取文件說明
@Test
public void testGetFileMate(){
try {
ClientGlobal.init(conf_filename);
TrackerClient tracker = new TrackerClient();
TrackerServer trackerServer = tracker.getConnection();
StorageServer storageServer = null;
StorageClient storageClient = new StorageClient(trackerServer,
storageServer);
NameValuePair nvps [] = storageClient.get_metadata("group1", "M00/00/00/hHXIQVq0o76AcLwdAAJGbMNBxko743.png");
for(NameValuePair nvp : nvps){
System.out.println(nvp.getName() + ":" + nvp.getValue());
}
} catch (Exception e) {
e.printStackTrace();
}
}
@Test
public void testDelete(){
try {
ClientGlobal.init(conf_filename);
TrackerClient tracker = new TrackerClient();
TrackerServer trackerServer = tracker.getConnection();
StorageServer storageServer = null;
StorageClient storageClient = new StorageClient(trackerServer,
storageServer);
int i = storageClient.delete_file("group1", "M00/00/00/hHXIQFq0pgCANrbCAAJGbMNBxko949.png");
System.out.println( i==0 ? "刪除成功" : "刪除失敗:"+i);
} catch (Exception e) {
e.printStackTrace();
}
}
public static void main(String []args){
TestFastDfs2 t=new TestFastDfs2();
t.testDownload("group1","M00/00/00/hHXIQFq0tKiAbXq9AAJGbMNBxko707.jpg","D:/fdfsFile/");
//t.testUpload("C:\Users\Administrator\Desktop\111.jpg","jpg");
//t.testDelete();
//t.testGetFileInfo();
//t.testGetFileMate();
//System.out.println(t.path);
}
}
好了，執行之後輸入相關函數參數就可以實現上傳下載，怎麼生成真正的客戶端程序還在研究中
以上資料來自：https://www.cnblogs.com/beyondcj/p/7160250.html