fastdfs基本安裝流程和集成springboot總結

FastDFS介紹

1、簡介

FastDFS 是一個開源的高性能分佈式文件系統（DFS）。 它的主要功能包括：文件存儲，文件同步和文件訪問，以及高容量和負載平衡。主要解決了海量數據存儲問題，特別適合以中小文件（建議範圍：4KB < file_size <500MB）爲載體的在線服務。

FastDFS 系統有三個角色：跟蹤服務器(Tracker Server)、存儲服務器(Storage Server)和客戶端(Client)。

　　Tracker Server：跟蹤服務器，主要作調度工做，起到均衡的做用；負責管理全部的 storage server和 group，每一個 storage 在啓動後會鏈接 Tracker，告知本身所屬 group 等信息，並保持週期性心跳。

　　Storage Server：存儲服務器，主要提供容量和備份服務；以 group 爲單位，每一個 group 內能夠有多臺 storage server，數據互爲備份。

　　Client：客戶端，上傳下載數據的服務器，也就是咱們本身的項目所部署在的服務器。

 

2、FastDFS的存儲策略

 

爲了支持大容量，存儲節點（服務器）採用了分卷（或分組）的組織方式。存儲系統由一個或多個卷組成，卷與卷之間的文件是相互獨立的，全部卷的文件容量累加就是整個存儲系統中的文件容量。一個卷能夠由一臺或多臺存儲服務器組成，一個卷下的存儲服務器中的文件都是相同的，卷中的多臺存儲服務器起到了冗餘備份和負載均衡的做用。

 

在卷中增長服務器時，同步已有的文件由系統自動完成，同步完成後，系統自動將新增服務器切換到線上提供服務。當存儲空間不足或即將耗盡時，能夠動態添加捲。只須要增長一臺或多臺服務器，並將它們配置爲一個新的卷，這樣就擴大了存儲系統的容量。

 

3、FastDFS的上傳過程

 

FastDFS向使用者提供基本文件訪問接口，好比upload、download、append、delete等，以客戶端庫的方式提供給用戶使用。

 

Storage Server會按期的向Tracker Server發送本身的存儲信息。當Tracker Server Cluster中的Tracker Server不止一個時，各個Tracker之間的關係是對等的，因此客戶端上傳時能夠選擇任意一個Tracker。

 

當Tracker收到客戶端上傳文件的請求時，會爲該文件分配一個能夠存儲文件的group，當選定了group後就要決定給客戶端分配group中的哪個storage server。當分配好storage server後，客戶端向storage發送寫文件請求，storage將會爲文件分配一個數據存儲目錄。而後爲文件分配一個fileid，最後根據以上的信息生成文件名存儲文件。

 

 

 

4、FastDFS的文件同步

寫文件時，客戶端將文件寫至group內一個storage server即認爲寫文件成功，storage server寫完文件後，會由後臺線程將文件同步至同group內其餘的storage server。

每一個storage寫文件後，同時會寫一份binlog，binlog裏不包含文件數據，只包含文件名等元信息，這份binlog用於後臺同步，storage會記錄向group內其餘storage同步的進度，以便重啓後能接上次的進度繼續同步；進度以時間戳的方式進行記錄，因此最好能保證集羣內全部server的時鐘保持同步。

storage的同步進度會做爲元數據的一部分彙報到tracker上，tracke在選擇讀storage的時候會以同步進度做爲參考。

5、FastDFS的文件下載

客戶端uploadfile成功後，會拿到一個storage生成的文件名，接下來客戶端根據這個文件名便可訪問到該文件。

 

 

 

 

跟upload file同樣，在downloadfile時客戶端能夠選擇任意tracker server。tracker發送download請求給某個tracker，必須帶上文件名信息，tracke從文件名中解析出文件的group、大小、建立時間等信息，而後爲該請求選擇一個storage用來服務讀請求。 

安裝

 

預備

 

操做環境：CentOS7 X64，如下操做都是單機環境。

 

預裝必要的軟件包：

 

# 編譯源碼須要gcc gcc-c++ perl，軟件包解壓須要unzip

 

 yum -y install gcc gcc-c++ perl unzip

 

 

 

提早下載好須要的軟件包（統一下載在/usr/local/src目錄）。

 

# 下載libfastcommon環境包： wget https://github.com/happyfish100/libfastcommon/archive/V1.0.7.tar.gz

 

# 下載FastDFS包： wget https://github.com/happyfish100/fastdfs/archive/V5.05.tar.gz

 

#下載nginx源碼包： wget -c https://nginx.org/download/nginx-1.12.1.tar.gz

 

#下載 fastdfs-nginx-module插件包： wget  https://github.com/happyfish100/fastdfs-nginx-module/archive/5e5f3566bbfa57418b5506aaefbe107a42c9fcb1.zip

 

1、安裝 libfastcommon

 

libfastcommon是從 FastDFS 和 FastDHT 中提取出來的公共 C 函數庫，基礎環境，安裝便可 。

 

a) 解壓並進入

 

# tar -zxvf V1.0.7.tar.gz

 

# cd libfastcommon-1.0.7

 

b)  編譯、安裝

 

# ./make.sh

 

# ./make.sh install

 

c) libfastcommon.so 默認安裝到了/usr/lib64/libfastcommon.so。可是後續咱們安裝的FastDFS主程序設置的lib目錄是/usr/local/lib，所以須要建立軟連接。

 

ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so

 

ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so

 

ln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so

 

ln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so

 

2、下載安裝FastDFS

 

a)  解壓並進入

 

# tar -zxvf V5.05.tar.gz

 

# cd fastdfs-5.05

 

b) 編譯、安裝

 

# ./make.sh

 

# ./make.sh install

 

c) 安裝後的相應文件與目錄以下：

 

　　1、fastdfs的服務腳本：

 

/etc/init.d/fdfs_storaged

 

/etc/init.d/fdfs_tracker

 

　　2、fastdfs配置文件（這三個是樣例配置，後續咱們在此基礎上更改） :

 

/etc/fdfs/client.conf.sample

 

/etc/fdfs/storage.conf.sample

 

/etc/fdfs/tracker.conf.sample

 

　　3、命令工具在 /usr/bin/ 目錄下：

 

fdfs_appender_test

 

fdfs_appender_test1

 

fdfs_append_file

 

fdfs_crc32

 

fdfs_delete_file

 

fdfs_download_file

 

fdfs_file_info

 

fdfs_monitor

 

fdfs_storaged

 

fdfs_test

 

fdfs_test1

 

fdfs_trackerd

 

fdfs_upload_appender

 

fdfs_upload_file

 

stop.sh

 

restart.sh

 

d) FastDFS 服務腳本設置的 bin 目錄是 /usr/local/bin， 但實際命令安裝在 /usr/bin/ 下。咱們須要創建 /usr/bin 到 /usr/local/bin 的軟連接。　　

 

 ln -s /usr/bin/fdfs_trackerd /usr/local/bin

 

ln -s /usr/bin/fdfs_storaged /usr/local/bin

 

ln -s /usr/bin/stop.sh /usr/local/bin

 

ln -s /usr/bin/restart.sh /usr/local/bin

 

3、配置FastDFS跟蹤器(Tracker)

 

a) 進入 /etc/fdfs，複製 FastDFS 跟蹤器樣例配置文件 tracker.conf.sample，並重命名爲 tracker.conf。

 

# cd /etc/fdfs

 

# cp tracker.conf.sample tracker.conf

 

# vim tracker.conf

 

b) 編輯tracker.conf ，標紅的須要修改下，其它的默認便可。

 

# 配置文件是否不生效，false 爲生效

 

disabled=false

 

# 提供服務的端口

 

port=22122

 

# Tracker 數據和日誌目錄地址(根目錄必須存在,子目錄會自動建立)

 

base_path=/home/fastdfs/tracker

 

# HTTP 服務端口

 

http.server_port=80

 

c)  建立tracker基礎數據目錄，即base_path對應的目錄

 

# mkdir -p /home/fastdfs/tracker

 

d) 啓動Tracker

 

初次成功啓動，會在/home/fastdfs/tracker (配置的base_path)下建立 data、logs 兩個目錄。

 

啓動tracker 

 

# service fdfs_trackerd start

 

查看 FastDFS Tracker 是否已成功啓動 ，22122端口正在被監聽，則算是Tracker服務安裝成功。

 

# netstat -unltp|grep fdfs

 

 

 

 

關閉Tracker命令：

# service fdfs_trackerd stop

a)  tracker server 目錄及文件結構

Tracker服務啓動成功後，會在base_path下建立data、logs兩個目錄。目錄結構以下：

${base_path}

|__data

| |__storage_groups.dat：存儲分組信息

| |__storage_servers.dat：存儲服務器列表

|__logs

| |__trackerd.log： tracker server 日誌文件

4、配置 FastDFS 存儲 (Storage)

a)  進入 /etc/fdfs 目錄，複製 FastDFS 存儲器樣例配置文件 storage.conf.sample，並重命名爲 storage.conf

# cd /etc/fdfs

# cp storage.conf.sample storage.conf

# vim storage.conf

b) 編輯storage.conf

標紅的須要修改，其它的默認便可。

# 配置文件是否不生效，false 爲生效

disabled=false

# 指定此 storage server 所在 組(卷)

group_name=group1

# storage server 服務端口

port=23000

# 心跳間隔時間，單位爲秒 (這裏是指主動向 tracker server 發送心跳)

heart_beat_interval=30

# Storage 數據和日誌目錄地址(根目錄必須存在，子目錄會自動生成)

base_path=/home/fastdfs/storage

# 存放文件時 storage server 支持多個路徑。這裏配置存放文件的基路徑數目，一般只配一個目錄。

store_path_count=1

# 逐一配置 store_path_count 個路徑，索引號基於 0。

# 若是不配置 store_path0，那它就和 base_path 對應的路徑同樣,此處直接註釋掉。

#store_path0=/home/fastdfs/file

# FastDFS 存儲文件時，採用了兩級目錄。這裏配置存放文件的目錄個數。

# 若是本參數只爲 N（如： 256），那麼 storage server 在初次運行時，會在 store_path 下自動建立 N * N 個存放文件的子目錄。

subdir_count_per_path=256

# tracker_server 的列表 ，會主動鏈接 tracker_server

# 有多個 tracker server 時，每一個 tracker server 寫一行

tracker_server=192.168.244.8:22122

# 容許系統同步的時間段 (默認是全天) 。通常用於避免高峯同步產生一些問題而設定。

sync_start_time=00:00

sync_end_time=23:59

# 訪問端口

http.server_port=80

c) 建立Storage基礎數據目錄，對應base_path目錄

# mkdir -p /home/fastdfs/storage

d) 啓動 Storage

啓動Storage前確保Tracker是啓動的。初次啓動成功，會在 /home/fastdfs/storage 目錄下建立 data、 logs 兩個目錄。

啓動

# service fdfs_storaged start

查看 Storage 是否成功啓動，23000 端口正在被監聽，就算 Storage 啓動成功。

# netstat -unltp|grep fdfs

 

 

 

 

關閉Storage命令：

 

# service fdfs_storaged stop

 

查看Storage和Tracker是否在通訊：

 

/usr/bin/fdfs_monitor /etc/fdfs/storage.conf

 

 

 

 

a) Storage 目錄

同 Tracker同樣，Storage 啓動成功後，在base_path 下建立了data、logs目錄，記錄着 Storage Server 的信息。

在 store_path0 目錄下，建立了N*N個子目錄：

 

 

 

 

 

 

5、文件上傳測試

a)  修改 Tracker 服務器中的客戶端配置文件 

# cd /etc/fdfs

# cp client.conf.sample client.conf

# vim client.conf

修改以下配置便可，其它默認。

# Client 的數據和日誌目錄

base_path=/home/fastdfs/client

# Tracker端口

tracker_server=192.168.244.8:22122

#tracker服務器的端口

http.tracker_server_port=8081 

b) 上傳測試

 在linux內部執行以下命令上傳一個文件（好比：client.conf.sample）

# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf client.conf.sample

上傳成功後返回文件ID號：group1/M00/00/00/wKgz6lnduTeAMdrcAAEoRmXZPp870.sample

 

 

 

返回的文件ID由group、存儲目錄、兩級子目錄、fileid、文件後綴名（由客戶端指定，主要用於區分文件類型）拼接而成。

 

 

 

安裝Nginx

 

上面將文件上傳成功了，但咱們沒法訪問下載。所以安裝Nginx做爲服務器以支持Http方式訪問文件。同時，後面安裝FastDFS的Nginx模塊也須要Nginx環境。

 

Nginx只須要安裝到StorageServer所在的服務器便可，用於訪問文件。

 

1、安裝nginx所需環境　　

 

a)  PCRE pcre-devel 安裝

 

# yum install -y pcre pcre-devel

 

b)  zlib 安裝

 

# yum install -y zlib zlib-devel

 

c) OpenSSL 安裝

 

# yum install -y openssl openssl-devel

 

2、安裝Nginx

 

a) 進入/usr/local/src目錄，解壓nginx源碼包並進入

 

# tar -zxvf nginx-1.12.1.tar.gz

 

# cd nginx-1.12.1

 

b)  使用默認配置

 

# ./configure

 

c)  編譯、安裝

 

# make

 

# make install

 

d) 啓動nginx

 

# cd /usr/local/nginx/sbin/

 

# ./nginx

 

 

 

其它命令

 

# ./nginx -s stop

 

# ./nginx -s quit

 

# ./nginx -s reload

 

e)  查看nginx的版本及模塊

 

/usr/local/nginx/sbin/nginx -V

 

 

 

 

 

 

訪問文件

簡單的測試訪問文件

① 修改nginx.conf

# vim /usr/local/nginx/conf/nginx.conf

添加以下行，將 /group1/M00 映射到 /home/fastdfs/storage/data

location /group1/M00 {

alias /home/fastdfs/storage/data;

}

# 重啓nginx

# /usr/local/nginx/sbin/nginx -s reload

 

 

 

② 在瀏覽器訪問以前上傳的文件、成功。

http://192.168.244.8/group1/M00/00/00/wKj0CF0cTBKAYwBiAABdrZgsqUU227.jpg

 

4、配置 Nginx的fastdfs 模塊

① fastdfs-nginx-module 模塊說明

　　FastDFS 經過 Tracker 服務器，將文件放在 Storage 服務器存儲， 可是同組存儲服務器之間須要進行文件複製， 有同步延遲的問題。

　　假設 Tracker 服務器將文件上傳到了 192.168.244.8，上傳成功後文件 ID已經返回給客戶端。

　　此時 FastDFS 存儲集羣機制會將這個文件同步到同組存儲 192.168.244.9，在文件尚未複製完成的狀況下，客戶端若是用這個文件 ID 在 192.168. 244.9 上取文件,就會出現文件沒法訪問的錯誤。

　　而 fastdfs-nginx-module 能夠重定向文件連接到源服務器取文件，避免客戶端因爲複製延遲致使的文件沒法訪問錯誤。

②解壓 fastdfs-nginx-module

# 解壓

# unzip 5e5f3566bbfa57418b5506aaefbe107a42c9fcb1.zip

# 重命名

# mv fastdfs-nginx-module-5e5f3566bbfa57418b5506aaefbe107a42c9fcb1 fastdfs-nginx-module

③ 配置Nginx

在nginx中添加模塊

# 先停掉nginx服務

# /usr/local/nginx/sbin/nginx -s stop

進入nginx解壓包目錄

# cd /usr/local/src/nginx-1.12.1/

 

# 添加模塊

# ./configure --add-module=../fastdfs-nginx-module/src

從新編譯、安裝

# make && make install

 ④ 查看Nginx的版本模塊

# /usr/local/nginx/sbin/nginx -V

有下面這個就說明添加模塊成功

 

 

 

⑤ 複製 fastdfs-nginx-module 源碼中的配置文件到/etc/fdfs 目錄， 並修改

# cd /usr/local/src/fastdfs-nginx-module/src

 

# cp mod_fastdfs.conf /etc/fdfs/

修改以下配置，其它默認

# 鏈接超時時間

connect_timeout=10

# Tracker Server

tracker_server=192.168.244.8:22122

# StorageServer 默認端口

storage_server_port=23000

# 若是文件ID的uri中包含/group**，則要設置爲true

url_have_group_name = true

# Storage 配置的store_path0路徑，必須和storage.conf中的一致,統一註釋掉

#store_path0= /home/yuqing/fastdfs

⑥ 複製 FastDFS 的部分配置文件到/etc/fdfs 目錄

# cd /usr/local/src/fastdfs-5.05/conf/

 

# cp anti-steal.jpg http.conf mime.types /etc/fdfs/

 ⑦ nginx，修改nginx.conf

# vi /usr/local/nginx/conf/nginx.conf

修改配置，其它的默認

在80端口下添加fastdfs-nginx模塊

location ~/group0/M00 {

ngx_fastdfs_module;

}

 

 

注意：

　　listen 80 端口值是要與 /etc/fdfs/storage.conf 中的 http.server_port=80 (前面改爲80了)相對應。

⑧啓動nginx

# /usr/local/nginx/sbin/nginx

打印處以下就算配置成功

 

 

 

⑨ 在地址欄訪問。

從新上傳一個圖片，能用瀏覽器打開，即安裝成功。

 

 在springboot集成客戶端流程

引入java客戶端依賴

<!-- fastDFS -->
        <dependency>
            <groupId>com.github.tobato</groupId>
            <artifactId>fastdfs-client</artifactId>
            <version>1.26.1-RELEASE</version>

配置 application.yml

#fastDFS
fdfs:
  #讀取超時，單位秒
  so-timeout: 1500
  #鏈接超時，單位秒
  connect-timeout: 600
  #縮略圖
  thumb-image:
    width: 150
    height: 150
  #tracker服務地址列表
  tracker-list:
    - localhost:22122

編寫配置類 配置信息已經在上面寫齊了因此 基本沒有內容

/**
 * FastDFS 配置類
 *
 * Create by qinji on 2019/10/9
 */
@Configuration
@Import(FdfsClientConfig.class)
/**
 *  解決jmx重複註冊bean的問題
 */
@EnableMBeanExport(registration = RegistrationPolicy.IGNORE_EXISTING)
public class FastDFSConfig {
}

封裝成工具類

@Slf4j
@Component
public class FastDFSUtils {
    /** 支持的圖片類型 */
    private static final String[] SUPPORT_IMAGE_TYPE = { "JPG", "JPEG", "PNG", "GIF", "BMP", "WBMP" };
    private static final List<String> SUPPORT_IMAGE_LIST = Arrays.asList(SUPPORT_IMAGE_TYPE);

    @Autowired
    private FastFileStorageClient storageClient;
    @Autowired
    private ThumbImageConfig thumbImageConfig;

    /**
     * 上傳圖片文件及縮略圖
     */
    public StorePath uploadImageFile(File file, String fileExtName, Set<MateData> metaDataSet) throws FileNotFoundException {
        //上傳文件
        return storageClient.uploadImageAndCrtThumbImage(new FileInputStream(file), file.length(), fileExtName, metaDataSet);
    }

    /**
     * 上傳非圖片文件
     */
    public StorePath uploadFile(File file, String suffix, Set<MetaData> meta) throws Exception {
        return storageClient.uploadFile(new FileInputStream(file), file.length(), suffix, null);
    }

    /**
     * 上傳文件
     */
    public String uploadFile(MultipartFile file) {
        if(file == null || file.isEmpty()) {
            throw new AppException("上傳文件不存在");
        }
        // 文件後綴名
        String suffix = file.getOriginalFilename().substring(file.getOriginalFilename().lastIndexOf(".") + 1);
        StorePath path;
        try {
            if(isSupportImage(suffix)) { // 圖片
                // 上傳圖片而且生成縮略圖
                path = storageClient.uploadImageAndCrtThumbImage(file.getInputStream(), file.getSize(), suffix, null);
            } else {
                // 非圖片文件
                path = storageClient.uploadFile(file.getInputStream(), file.getSize(), suffix, null);
            }
            return path.getPath();
        } catch (IOException e) {
            log.error(e.getMessage());
        }

        return "";
    }

    /**
     * 文件下載
     */
    public byte[] downloadFile(String group, String url, DownloadByteArray array) throws Exception {
        return storageClient.downloadFile(group, url, array);
    }

    /**
     * 打包下載
     */
    public void downloadZip(List<UploadFileEntity> fileList, String group, ZipOutputStream zip) throws Exception {
        DownloadByteArray downloadByteArray = new DownloadByteArray();
        for(UploadFileEntity entity : fileList) {
            // zipEntry例如：工程文檔/測試文件夾/xxx.docx
            zip.putNextEntry(new ZipEntry(entity.getParentFolderPath() + entity.getName()));
            // 下載文件
            byte[] bytes = downloadFile(group, entity.getUrl(), downloadByteArray);
            // 寫入zipOutputStream
            IOUtils.write(bytes, zip);
            zip.closeEntry();
        }
    }

    /**
     * 刪除文件
     */
    public void deleteFile(String group, String path) {
        storageClient.deleteFile(group, path);
    }

//    public void downloadFile(ZipOutputStream zip) throws Exception {
//        String url = "M00/00/00/wKgA1V2d0KKAEB9FAAJi1MdFAb4930.png";
//        String url2 = "M00/00/00/wKgA1V2d0qiAe_nFAADGWkQfxd439.docx";
//        //建立流
//        //ByteArrayOutputStream outputStream = new ByteArrayOutputStream();
//        //ZipOutputStream zip = new ZipOutputStream(outputStream);
//        zip.putNextEntry(new ZipEntry("測試文件夾" + File.separator + "測試圖片下載.png"));
//
//        DownloadByteArray downloadByteArray = new DownloadByteArray();
//        byte[] bytes = downloadFile("group1", url, downloadByteArray);
//        //InputStream inputStream = new ByteArrayInputStream(bytes);
//        IOUtils.write(bytes, zip);
//        zip.closeEntry();
//        zip.putNextEntry(new ZipEntry("測試文件夾" + File.separator + "測試文檔下載.docx"));
//        bytes = downloadFile("group1", url2, downloadByteArray);
//        IOUtils.write(bytes, zip);
//        zip.closeEntry();
//    }

    /**
     *  建立元信息
     */
    public Set<MateData> createMetaData(MetaData meta) {
        Set<MateData> metaDataSet = new HashSet<>();
        metaDataSet.add(new MateData("author", meta.getAuthor()));
        metaDataSet.add(new MateData("oldName", meta.getOldName()));
        return metaDataSet;
    }

    /**
     * 是不是支持的圖片文件
     */
    public boolean isSupportImage(String fileExtName) {
        return SUPPORT_IMAGE_LIST.contains(fileExtName.toUpperCase());
    }

    @Data
    public
    class MetaData {
        private String author;
        // 原文件名
        private String oldName;
    }
}