【項目實踐】手把手教你自建高性能對象存儲服務器

時間  2021-08-14
標籤 前端 java git github web docker shell 後端 瀏覽器 bash 欄目 Java 简体版
原文   原文鏈接

以項目驅動學習，以實踐檢驗真知前端

對象存儲的應用範圍很是普遍，小至圖牀、文件服務，大至大數據應用。不管是我的仍是企業，搭建一個對象存儲服務器都是很是有必要的。java

國內許多雲廠商提供了對象存儲服務：阿里 OSS、騰訊 COS、華爲 OBS，等等，它們都能對海量數據進行存儲與管理，搭建和使用起來也很是方便，然而就是價格並不便宜。爲了節約成本，許多人開始自建對象存儲服務器，可自建的話要麼性能很差、要麼搭建麻煩，難以讓人滿意。git

有沒有什麼辦法能夠既免費又便捷還高性能呢？固然是有的，它就是本篇文章要講解的 MinIO。github

MinIO 號稱全世界最快的對象存儲服務器。官方稱，在標準硬件上，讀/寫速度分別可達到 183 GB / s 和 171 GB / s，其性能不言而喻。web

high-performance.png

性能優異外，MinIO 還開源免費，最可貴的是，其搭建和使用方式極其方便，能夠說是自建對象文件存儲服務器的不二之選！docker

接下來螃蟹會手把手教你們使用 MinIO 自建對象存儲服務器，讀完本文你能收穫：shell

  • MinIO 的搭建與配置；
  • 文件外鏈（圖牀）的實現；
  • 集成 Spring Boot。

本文全部代碼都放在了 Github 上，克隆下來便可運行。後端

安裝和部署

MinIO 提供了多種安裝方式，Windows、Mac、Linux、Docker 等，這裏咱們選用最簡單方便的 Docker 方式。瀏覽器

若服務器已經安裝好 Docker，咱們只需一行命令便可安裝並啓用 MinIO：bash

docker run -d -v /data/minio:/data/minio -p 9000:9000 minio/minio server /data/minio
複製代碼

該命令將主機 /data/minio 目錄映射到容器中的 /data/minio 目錄中，並啓用了 9000 端口。若是想指定別的目錄和端口固然也是能夠的。

MinIO 還提供了圖形管理界面，在瀏覽器輸入 ip:9000 便可查看。

不論是圖形界面操做，仍是客戶端操做，默認帳號密碼都爲 minioadmin。驗證經過後便可進入管理界面：

ui.png

若是要修改默認的帳號密碼，在啓動容器時指定參數便可：

# 自定義帳號密碼，帳號不能小於 3 字符，密碼不能小於 8 字符
docker run -d -p 9000:9000 \
  -v /data/minio:/data/minio \
  -e "MINIO_ROOT_USER=root" \
  -e "MINIO_ROOT_PASSWORD=rudecrab" \
  minio/minio server /data/minio
複製代碼

圖形界面

編寫代碼調用 API 前，咱們先看下圖形界面的操做。

界面右下角有兩個操做按鈕，一個是用來建立存儲空間 Bucket，一個是用來上傳文件。

對象存儲服務器的數據都存儲在一個個的 Bucket 中，因此上傳文件前，咱們得先建立一個 Bucket。點擊最下面的黃色按鈕便可建立：

create-bucket.png

Bucket 名稱隨意，這裏咱們建立一個名爲 file 的 Bucket。建立完畢後就能夠在左側的導航欄中看到已建立的 Bucket ：

file-bucket.png

而後咱們能夠點擊左下角第一個黃色按鈕進行文件上傳：

upload-file.png

選中文件上傳後，便可在文件列表查看：

file-list.png

點擊文件操做按鈕，能夠直接預覽、下載，還能夠生成分享連接，供他人訪問。很是方便地就完成了圖牀功能！

file-op.png

點擊分享按鈕後，便可生成分享連接。

分享連接能夠設置預覽時限，最多可公開 7 天：

file-link.jpg

點擊 Copy Link 複製連接後，能夠在瀏覽器查看效果：

rudecrab.png

這種屬於臨時連接，過一段時間後便會失效。有沒有什麼辦法能夠生成永久連接呢？固然是有的。

每一個 Bucket 均可以設置其訪問權限：只讀、只寫、讀寫。權限設置後即便不登陸，也能夠進行相應的操做。咱們只需將 Bucket 設置爲只讀權限，那該 Bucket 下全部文件即可以直接訪問，而且沒有時長限制！

點擊 Bucket 便可進行配置：

edit-policy.png

在彈出的對話框中，選擇 Read Only只讀權限，而後點擊 Add 按鈕，便可完成配置。注意哦，第一個對話框中的訪問前綴須要配置成星號 *，不然會沒法訪問：

edit-policy.jpg

配置完成後，在瀏覽器直接輸入文件路徑，便可訪問：

forever.png

集成 Spring Boot

圖形管理界面當然方便，不過有時候咱們並不想讓用戶直接操做管理界面。好比我只想在項目中集成一個文件系統，只提供上傳、下載接口，這時咱們便須要進行代碼編寫。

MinIO 幾乎提供了全部主流開發語言的 SDK ，Java 天然也不例外。

要使用 MinIO 的 SDK，得導入其依賴包。爲了方便操做 I/O流，咱們同時導入一個工具包：

<!-- MinIO SDK-->
<dependency>
    <groupId>io.minio</groupId>
    <artifactId>minio</artifactId>
    <version>8.0.3</version>
</dependency>
<!-- I/O工具包，方便I/O操做-->
<dependency>
    <groupId>commons-io</groupId>
    <artifactId>commons-io</artifactId>
    <version>2.7</version>
</dependency>
複製代碼

關於 MinIO 的一切操做都得經過 MinioClient 對象來進行，建立該對象的方式以下：

MinioClient minioClient = MinioClient.builder()
                .endpoint("服務地址")
                .credentials("帳號", "密碼")
                .build();
複製代碼

而後經過該對象，指定 Bucket 便可進行相應的操做。好比判斷 Bucket 是否已存在：

boolean found = minioClient.bucketExists(BucketExistsArgs.builder().bucket("Bucekt名稱").build());
複製代碼

在實際開發中，系統一旦運行，服務地址、帳號、密碼這些數據通常不會發生變化，甚至 Bucekt 也不會變動。既然如此，咱們徹底能夠在應用啓動時將 MinioClient 對象配置好，整個系統共享一個對象便可，而且能夠將經常使用方法封裝起來，以便調用。

首先，咱們將服務地址這些數據放到 application.yml 配置文件中定義，避免硬編碼：

minio:
  url: http://rudecrab.com:9000 # 服務地址
  access: minioadmin # 帳號
  secret: minioadmin # 密碼
  bucket: file # Bucket
複製代碼

而後建立一個 MinioService 類，進行代碼封裝。如下代碼複製粘貼便可放在本身項目中使用：

@Service
public class MinioService {
    Logger log = LoggerFactory.getLogger(MinioService.class);

    private final String bucket;
    private final MinioClient minioClient;

    public MinioService(@Value("${minio.url}") String url, @Value("${minio.access}") String access, @Value("${minio.secret}") String secret, @Value("${minio.bucket}") String bucket) throws Exception {
        this.bucket = bucket;
        minioClient = MinioClient.builder()
                .endpoint(url)
                .credentials(access, secret)
                .build();
        // 初始化Bucket
        initBucket();
    }

    private void initBucket() throws Exception {
        // 應用啓動時檢測Bucket是否存在
        boolean found = minioClient.bucketExists(BucketExistsArgs.builder().bucket(bucket).build());
        // 若是Bucket不存在，則建立Bucket
        if (!found) {
            minioClient.makeBucket(MakeBucketArgs.builder().bucket(bucket).build());
            log.info("成功建立 Bucket [{}]", bucket);
        }
    }

    /** * 上傳文件 * @param is 輸入流 * @param object 對象（文件）名 * @param contentType 文件類型 */
    public void putObject(InputStream is, String object, String contentType) throws Exception {
        long start = System.currentTimeMillis();
        minioClient.putObject(PutObjectArgs.builder()
                .bucket(bucket)
                .object(object)
                .contentType(contentType)
                .stream(is, -1, 1024 * 1024 * 10) // 不得小於 5 Mib
                .build());
        log.info("成功上傳文件至雲端 [{}]，耗時 [{} ms]", object, System.currentTimeMillis() - start);
    }

    /** * 獲取文件流 * @param object 對象（文件）名 * @return 文件流 */
    public GetObjectResponse getObject(String object) throws Exception {
        long start = System.currentTimeMillis();
        GetObjectResponse response = minioClient.getObject(GetObjectArgs.builder()
                .bucket(bucket)
                .object(object)
                .build());
        log.info("成功獲取 Object [{}]，耗時 [{} ms]", object, System.currentTimeMillis() - start);
        return response;
    }

    /** * 刪除對象（文件） * @param object 對象（文件名） */
    public void removeObject(String object) throws Exception {
        minioClient.removeObject(RemoveObjectArgs.builder()
                .bucket(bucket)
                .object(object)
                .build());
        log.info("成功刪除 Object [{}]", object);
    }
}
複製代碼

業務方法封裝好後，接口的編寫就很方便了。

上傳、下載、刪除接口的寫法以下：

@RestController
@RequestMapping("/file")
public class FileController {
    @Autowired
    private MinioService minioService;

    // 上傳，上傳成功會返回文件名
    @PostMapping
    public String upload(MultipartFile file) throws Exception {
        // 獲取文件後綴名
        String extension = FilenameUtils.getExtension(file.getOriginalFilename());
        // 爲了不文件名重複，使用UUID重命名文件，將橫槓去掉
        String fileName = UUID.randomUUID().toString().replace("-", "") + "." + extension;
        // 上傳
        minioService.putObject(file.getInputStream(), fileName, file.getContentType());
        // 返回文件名
        return fileName;
    }
	
    // 根據文件名下載文件
    @GetMapping("{fileName}")
    public void download(HttpServletRequest request, HttpServletResponse response, @PathVariable("fileName") String fileName) throws Exception {
        // 設置響應類型
        response.setCharacterEncoding(request.getCharacterEncoding());
        response.setContentType("application/octet-stream");
        response.setHeader("Content-Disposition", "attachment; filename=" + fileName);
        // 獲取文件流
        GetObjectResponse objectResponse = minioService.getObject(fileName);
        // 將文件流輸出到響應流
        IOUtils.copy(objectResponse, response.getOutputStream());
        // 結束
        response.flushBuffer();
        objectResponse.close();
    }
	
    // 根據文件名刪除文件
    @DeleteMapping("{fileName}")
    public String remove(@PathVariable("fileName") String fileName) throws Exception {
        minioService.removeObject(fileName);
        return "success";
    }
}
複製代碼

編寫完接口，咱們啓動項目，而後在 PostMan 測試一下：

post-file.png

文件成功上傳，並返回了文件名。在 MinIO 中也能夠看到文件已經上傳成功：

file-list.png

咱們複製文件名，再測試下載接口：

get-file.png

請求發送後，彈出下載框，證實下載接口沒有問題！

Java SDK 的介紹就到這了，其實 MinIO 還支持 JavaScript SDK，前端也能夠直接調用，有興趣的能夠在 MinIO 官網 min.io/ 進行了解。

開發中是前端直接調用 MinIO，仍是經過後端調用，這個根據業務來定，均可以的。

收尾

上面的內容已經知足絕大多數需求了，MinIO 還支持分佈式部署，若是你們感興趣，螃蟹後續再出相關實踐。

全部代碼都已放在了 Github 上，克隆下來便可運行。倉庫中還有許多其餘【項目實踐】哦，歡迎 star~

本文到這裏就結束了，我是「RudeCrab」，一隻粗魯的螃蟹，咱們下篇文章再見。

關注「RudeCrab」微信公衆號，和螃蟹一塊兒橫行霸道。

相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程