FastDFS分佈式文件系統（Demo：實現圖片上傳下載功能），小Tips：新增一種讀取properties文件的方式

時間  2019-11-08
標籤 fastdfs 分佈式 文件 系統 demo 實現 圖片 上傳 下載 功能 tips 新增 一種 讀取 properties 方式 欄目 系統架構 简体版
原文   原文鏈接

1、什麼是FastDFS？

FastDFS是用c語言編寫的一款開源的分佈式文件系統。FastDFS爲互聯網量身定製，充分考慮了冗餘備份、負載均衡、線性擴容等機制，並注重高可用、高性能等指標，使用FastDFS很容易搭建一套高性能的文件服務器集羣提供文件上傳、下載等服務。html

2、FastDFS架構 

FastDFS架構包括Tracker server和Storage server。客戶端請求Tracker server進行文件上傳、下載，經過Tracker server調度最終由Storage server完成文件上傳和下載。java

Tracker server做用是負載均衡和調度，經過Tracker server在文件上傳時能夠根據一些策略找到Storage server提供文件上傳服務。能夠將tracker稱爲追蹤服務器或調度服務器。web

Storage server做用是文件存儲，客戶端上傳的文件最終存儲在Storage服務器上，Storage server沒有實現本身的文件系統而是利用操做系統的文件系統來管理文件。能夠將storage稱爲存儲服務器。spring

服務端兩個角色：apache

Tracker：管理集羣，tracker也能夠實現集羣。每一個tracker節點地位平等。json

收集Storage集羣的狀態。數組

Storage：實際保存文件瀏覽器

Storage分爲多個組，每一個組之間保存的文件是不一樣的。每一個組內部能夠有多個成員，組成員內部保存的內容是同樣的，組成員的地位是一致的，沒有主從的概念。服務器

3、文件上傳的流程

客戶端上傳文件後存儲服務器將文件ID返回給客戶端，此文件ID用於之後訪問該文件的索引信息。文件索引信息包括：組名，虛擬磁盤路徑，數據兩級目錄，文件名。架構

  • 組名：文件上傳後所在的storage組名稱，在文件上傳成功後有storage服務器返回，須要客戶端自行保存。
  • 虛擬磁盤路徑：storage配置的虛擬路徑，與磁盤選項store_path*對應。若是配置了store_path0則是M00，若是配置了store_path1則是M01，以此類推。
  • 數據兩級目錄：storage服務器在每一個虛擬磁盤路徑下建立的兩級目錄，用於存儲數據文件。
  • 文件名：與文件上傳時不一樣。是由存儲服務器根據特定信息生成，文件名包含：源存儲服務器IP地址、文件建立時間戳、文件大小、隨機數和文件拓展名等信息。

4、文件下載流程

5、FastDFS架構服務器的搭建

搭建資料+教程+maven工程導包方法：猛擊這裏

一、上傳圖片Demo

1）加載配置文件，配置文件中的內容就是tracker服務的地址。

配置文件內容：tracker_server=192.168.25.133:22122

2）建立一個TrackerClient對象。直接new一個。

3）使用TrackerClient對象建立鏈接，得到一個TrackerServer對象。

4）建立一個StorageServer的引用，值爲null

5）建立一個StorageClient對象，須要兩個參數TrackerServer對象、StorageServer的引用

6）使用StorageClient對象上傳圖片。

7）返回數組。包含組名和圖片的路徑。

public class FastDFSTest {

    @Test
    public void testFileUpload() throws Exception {
        // 一、加載配置文件，配置文件中的內容就是tracker服務的地址。
        ClientGlobal.init("/home/x5456/IdeaProjects/e3parent/e3-manager-web/src/main/resources/conf/client.conf");

        // 二、建立一個TrackerClient對象。直接new一個。
        TrackerClient trackerClient = new TrackerClient();

        // 三、使用TrackerClient對象建立鏈接，得到一個TrackerServer對象。
        TrackerServer trackerServer = trackerClient.getConnection();

        // 四、建立一個StorageServer的引用，值爲null
        StorageServer storageServer = null;

        // 五、建立一個StorageClient對象，須要兩個參數TrackerServer對象、StorageServer的引用
        StorageClient storageClient = new StorageClient(trackerServer, storageServer);

        // 六、使用StorageClient對象上傳圖片；擴展名不帶「.」
        String[] strings = storageClient.upload_file("/home/x5456/圖片/選區_001.png", "png", null);

        // 七、返回數組。包含組名和圖片的路徑。
        for (String string : strings) {
            System.out.println(string);
        }
    }
}

輸出結果

group1
M00/00/00/wKgZhVq0r-eAaRstAACR-pnPkTs216.png

能夠直接經過訪問地址查看這張圖片：

　　http://192.168.25.133/group1/M00/00/00/wKgZhVq0sNKANrDmAACR-pnPkTs297.png

方法二：使用工具類上傳

 1 package cn.e3mall.common.utils;
 2 
 3 import org.csource.common.NameValuePair;
 4 import org.csource.fastdfs.ClientGlobal;
 5 import org.csource.fastdfs.StorageClient1;
 6 import org.csource.fastdfs.StorageServer;
 7 import org.csource.fastdfs.TrackerClient;
 8 import org.csource.fastdfs.TrackerServer;
 9 
10 public class FastDFSClient {
11 
12     private TrackerClient trackerClient = null;
13     private TrackerServer trackerServer = null;
14     private StorageServer storageServer = null;
15     private StorageClient1 storageClient = null;
16     
17     public FastDFSClient(String conf) throws Exception {
18         if (conf.contains("classpath:")) {
19             conf = conf.replace("classpath:", this.getClass().getResource("/").getPath());
20         }
21         ClientGlobal.init(conf);
22         trackerClient = new TrackerClient();
23         trackerServer = trackerClient.getConnection();
24         storageServer = null;
25         storageClient = new StorageClient1(trackerServer, storageServer);
26     }
27     
28     /**
29      * 上傳文件方法
30      * <p>Title: uploadFile</p>
31      * <p>Description: </p>
32      * @param fileName 文件全路徑
33      * @param extName 文件擴展名，不包含（.）
34      * @param metas 文件擴展信息
35      * @return
36      * @throws Exception
37      */
38     public String uploadFile(String fileName, String extName, NameValuePair[] metas) throws Exception {
39         String result = storageClient.upload_file1(fileName, extName, metas);
40         return result;
41     }
42     
43     public String uploadFile(String fileName) throws Exception {
44         return uploadFile(fileName, null, null);
45     }
46     
47     public String uploadFile(String fileName, String extName) throws Exception {
48         return uploadFile(fileName, extName, null);
49     }
50     
51     /**
52      * 上傳文件方法
53      * <p>Title: uploadFile</p>
54      * <p>Description: </p>
55      * @param fileContent 文件的內容，字節數組
56      * @param extName 文件擴展名
57      * @param metas 文件擴展信息
58      * @return
59      * @throws Exception
60      */
61     public String uploadFile(byte[] fileContent, String extName, NameValuePair[] metas) throws Exception {
62         
63         String result = storageClient.upload_file1(fileContent, extName, metas);
64         return result;
65     }
66     
67     public String uploadFile(byte[] fileContent) throws Exception {
68         return uploadFile(fileContent, null, null);
69     }
70     
71     public String uploadFile(byte[] fileContent, String extName) throws Exception {
72         return uploadFile(fileContent, extName, null);
73     }
74 }
FastDFSClient工具類 
public class FastDFSTest {

    @Test
    public void testFileUpload() throws Exception {
        // 1.配置文件路徑
        FastDFSClient fastDFSClient = new FastDFSClient("/home/x5456/IdeaProjects/e3parent/e3-manager-web/src/main/resources/conf/client.conf");
        // 2.圖片路徑
        String file = fastDFSClient.uploadFile("/home/x5456/圖片/選區_001.png");
        System.out.println(file);
    }
}

6、將文件上傳整合到e3mall項目中

1）引入common-io，common-fileupload包

<!-- 文件上傳組件 -->
<dependency>
    <groupId>commons-fileupload</groupId>
    <artifactId>commons-fileupload</artifactId>
</dependency>

<dependency>
    <groupId>org.apache.commons</groupId>
    <artifactId>commons-io</artifactId>
</dependency>

2）功能分析

3）在springmvc.xml中配置多媒體解析器

<!-- 定義文件上傳解析器 -->
	<bean id="multipartResolver"
		class="org.springframework.web.multipart.commons.CommonsMultipartResolver">
		<!-- 設定默認編碼 -->
		<property name="defaultEncoding" value="UTF-8"></property>
		<!-- 設定文件上傳的最大值5MB，5*1024*1024 -->
		<property name="maxUploadSize" value="5242880"></property>
	</bean>

4）書寫Controller層實現圖片保存

@Controller
public class PictureController {

    @Value("${IMAGE_SERVER_URL}")
    private String IMAGE_SERVER_URL;

    @RequestMapping("/pic/upload")
    @ResponseBody
    public HashMap fileUpload(MultipartFile uploadFile){

        // 1.獲取文件擴展名
        String filename = uploadFile.getOriginalFilename();
        String extName = filename.substring(filename.lastIndexOf(".") + 1);
        // 2.使用工具類建立一個FastDFS的客戶端
        HashMap<Object, Object> result = new HashMap<>();
        try {
            // 3.讀取配置文件
            FastDFSClient fastDFSClient = new FastDFSClient("classpath:conf/client.conf");
            // 4.上傳處理，返回文件路徑 group/...
            String path = fastDFSClient.uploadFile(uploadFile.getBytes(), extName);
            // 5.拼接返回的url和ip地址，拼裝成完整的url
            String url = IMAGE_SERVER_URL + path;
            // 6.返回一個字典
            System.out.println(url);
            result.put("error",0);
            result.put("url",url);
        } catch (Exception e) {
            e.printStackTrace();
            result.put("error", 1);
            result.put("message", "圖片上傳失敗");
        }
        return result;
    }
}

讀取配置文件方法

e3.properties

IMAGE_SERVER_URL=http://192.168.25.133/

springmvc.xml

<!-- 讀取配置文件 -->
<context:property-placeholder location="classpath:e3.properties"/>

使用註解方式獲取值

@Value("${IMAGE_SERVER_URL}")
private String IMAGE_SERVER_URL;

解決瀏覽器兼容性的問題

KindEditor的圖片上傳插件，對瀏覽器兼容性很差。

使用@ResponseBody註解返回java對象，Content-Type:application/json;charset=UTF-8

返回字符串時：

Content-Type:text/plian;charset=UTF-8

 1 package cn.e3mall.common.utils;
 2 
 3 import java.util.List;
 4 
 5 import com.fasterxml.jackson.core.JsonProcessingException;
 6 import com.fasterxml.jackson.databind.JavaType;
 7 import com.fasterxml.jackson.databind.JsonNode;
 8 import com.fasterxml.jackson.databind.ObjectMapper;
 9 
10 /**
11  * 淘淘商城自定義響應結構
12  */
13 public class JsonUtils {
14 
15     // 定義jackson對象
16     private static final ObjectMapper MAPPER = new ObjectMapper();
17 
18     /**
19      * 將對象轉換成json字符串。
20      * <p>Title: pojoToJson</p>
21      * <p>Description: </p>
22      * @param data
23      * @return
24      */
25     public static String objectToJson(Object data) {
26         try {
27             String string = MAPPER.writeValueAsString(data);
28             return string;
29         } catch (JsonProcessingException e) {
30             e.printStackTrace();
31         }
32         return null;
33     }
34     
35     /**
36      * 將json結果集轉化爲對象
37      * 
38      * @param jsonData json數據
39      * @param clazz 對象中的object類型
40      * @return
41      */
42     public static <T> T jsonToPojo(String jsonData, Class<T> beanType) {
43         try {
44             T t = MAPPER.readValue(jsonData, beanType);
45             return t;
46         } catch (Exception e) {
47             e.printStackTrace();
48         }
49         return null;
50     }
51     
52     /**
53      * 將json數據轉換成pojo對象list
54      * <p>Title: jsonToList</p>
55      * <p>Description: </p>
56      * @param jsonData
57      * @param beanType
58      * @return
59      */
60     public static <T>List<T> jsonToList(String jsonData, Class<T> beanType) {
61         JavaType javaType = MAPPER.getTypeFactory().constructParametricType(List.class, beanType);
62         try {
63             List<T> list = MAPPER.readValue(jsonData, javaType);
64             return list;
65         } catch (Exception e) {
66             e.printStackTrace();
67         }
68         
69         return null;
70     }
71     
72 }
jacson——JsonUtils
相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程