MinIO 的分佈式部署

目錄

• 1 前言
• 2 分佈式存儲可靠性經常使用方法
  • 2.1 冗餘
  • 2.2 校驗
• 3 MinIO存儲機制
  • 3.1 概念理解
  • 3.2 糾刪碼EC（Erasure Code）
  • 3.3 存儲形式
• 4 部署實踐
  • 4.1 單節點部署多磁盤
  • 4.2 多節點部署
    • 4.2.1 部署腳本
    • 4.2.2 部署注意點
    • 4.2.3 使用 nginx 負載均衡
• 5 總結
• 參考資料
• 往期文章

高可用分佈式對象存儲，MinIO 輕鬆實現。

1 前言

上一篇文章介紹了使用對象存儲工具 MinIO 搭建一個優雅、簡單、功能完備的靜態資源服務，可見其操做簡單，功能完備。但因爲是單節點部署，不免會出現單點故障，沒法作到服務的高可用。MinIO 已經提供了分佈式部署的解決方案，實現高可靠、高可用的資源存儲，一樣的操做簡單，功能完備。本文將對 MinIO 的分佈式部署進行描述，主要分如下幾個方面：

• 分佈式存儲的可靠性

• MinIO 的分佈式的存儲機制

• 分佈式部署實踐

2 分佈式存儲可靠性經常使用方法

分佈式存儲，很關鍵的點在於數據的可靠性，即保證數據的完整，不丟失，不損壞。只有在可靠性實現的前提下，纔有了追求一致性、高可用、高性能的基礎。而對於在存儲領域，通常對於保證數據可靠性的方法主要有兩類，一類是冗餘法，一類是校驗法。

2.1 冗餘

冗餘法最簡單直接，即對存儲的數據進行副本備份，當數據出現丟失，損壞，便可使用備分內容進行恢復，而副本 備份的多少，決定了數據可靠性的高低。這其中會有成本的考量，副本數據越多，數據越可靠，但須要的設備就越多，成本就越高。可靠性是容許丟失其中一份數據。當前已有不少分佈式系統是採用此種方式實現，如 Hadoop 的文件系統（3個副本），Redis 的集羣，MySQL 的主備模式等。

2.2 校驗

校驗法即經過校驗碼的數學計算的方式，對出現丟失、損壞的數據進行校驗、還原。注意，這裏有兩個做用，一個校驗，經過對數據進行校驗和( checksum )進行計算，能夠檢查數據是否完整，有無損壞或更改，在數據傳輸和保存時常常用到，如 TCP 協議；二是恢復還原，經過對數據結合校驗碼，經過數學計算，還原丟失或損壞的數據，能夠在保證數據可靠的前提下，下降冗餘，如單機硬盤存儲中的 RAID 技術，糾刪碼（Erasure Code）技術等。MinIO 採用的就是糾刪碼技術。

3 MinIO存儲機制

3.1 概念理解

在部署分佈式 MinIO 前，須要對下面的概念進行了解：

• 硬盤（Drive）：即存儲數據的磁盤，在 MinIO 啓動時，以參數的方式傳入。
• 組（ Set ）：即一組 Drive 的集合，分佈式部署根據集羣規模自動劃分一個或多個 Set ，每一個 Set 中的 Drive 分佈在不一樣位置。一個對象存儲在一個 Set 上。
• 桶（Bucket）：文件對象存儲的邏輯位置，對於客戶端而言，就至關於一個存放文件的頂層文件夾。

3.2 糾刪碼EC（Erasure Code）

MinIO 使用糾刪碼機制來保證高可靠性，使用 highwayhash 來處理數據損壞（ Bit Rot Protection ）。關於糾刪碼，簡單來講就是能夠經過數學計算，把丟失的數據進行還原，它能夠將n份原始數據，增長m份數據，並能經過n+m份中的任意n份數據，還原爲原始數據。即若是有任意小於等於m份的數據失效，仍然能經過剩下的數據還原出來。舉個最簡單例子就是有兩個數據(d1, d2)，用一個校驗和y（d1 + d2 = y）便可保證即便丟失其中一個，依然能夠還原數據。如丟失 d1 ，則使用 y - d2 = d1 還原，同理，d2 丟失或者y丟失，都可經過計算得出。

EC 的具體應用實現中， RS（Reed-Solomen）是 EC 的一種更簡單快捷的實現，能夠經過矩陣運算，還原數據。MinIO 將對象拆分紅N/2數據和N/2 校驗塊 。具體的數學矩陣運算及證實，能夠參考文章《Erasure-Code-擦除碼-1-原理篇》及《EC糾刪碼原理》。

3.3 存儲形式

文件對象上傳到 MinIO ，會在對應的數據存儲磁盤中，以 Bucket 名稱爲目錄，文件名稱爲下一級目錄，文件名稱下是 part.1 和 xl.json，前者是編碼數據塊及檢驗塊，後者是元數據文件。若有4個磁盤，當文件上傳後，會有2個編碼數據塊，2個檢驗塊，分別存儲在4個磁盤中。以下圖，bg-01.jpg 是上傳的文件對象：

4 部署實踐

4.1 單節點部署多磁盤

在啓動 MinIO 時，若傳入參數是多個目錄，則會以糾刪碼的形式運行，即具有高可靠性意義。即在一個服務器（單節點）上對，多個磁盤上運行 MinIO。

運行命令也很簡單，參數傳入多個目錄便可：

MINIO_ACCESS_KEY=${ACCESS_KEY} MINIO_SECRET_KEY=${SECRET_KEY} nohup ${MINIO_HOME}/minio server --address "${MINIO_HOST}:${MINIO_PORT}" /opt/min-data1 /opt/min-data2 /opt/min-data3 /opt/min-data4 > ${MINIO_LOGFILE} 2>&1 &

注意替換命令中的變動，運行後輸出信息以下：

可見 MinIO 會建立一個1個 set，set 中有4個 drive ，其中它會提示一個警告，提示一個節點的 set 中存在多於2個的drive，若是節點掛掉，則數據都不可用了，這與 EC 碼的規則一致。

4.2 多節點部署

4.2.1 部署腳本

爲了防止單點故障，分佈式存儲天然是須要多節點部署，以達到高可靠和高可用的能力。MinIO 對於多節點的部署，也是在啓動時經過指定有 Host 和端口的目錄地址，便可實現。下面在單臺機器上，經過不一樣的端口模擬在4臺機器節點上運行，存儲目錄依然是 min-data1_{4，而對應的端口是9001}9004。腳本以下：

RUNNING_USER=root
MINIO_HOME=/opt/minio
MINIO_HOST=192.168.222.10
#accesskey and secretkey
ACCESS_KEY=minio 
SECRET_KEY=minio123

for i in {01..04}; do
    START_CMD="MINIO_ACCESS_KEY=${ACCESS_KEY} MINIO_SECRET_KEY=${SECRET_KEY} nohup ${MINIO_HOME}/minio  server --address "${MINIO_HOST}:90${i}" http://${MINIO_HOST}:9001/opt/min-data1 http://${MINIO_HOST}:9002/opt/min-data2 http://${MINIO_HOST}:9003/opt/min-data3 http://${MINIO_HOST}:9004/opt/min-data4 > ${MINIO_HOME}/minio-90${i}.log 2>&1 &"
    su - ${RUNNING_USER} -c "${START_CMD}"
done

本示例中，minio 的啓動命令運行了4次，至關於在四臺機器節點上都分別運行一個minio實例，從而模擬四個節點。運行結果以下：

查看進程ps -ef |grep minio：

4.2.2 部署注意點

• 全部運行分佈式 MinIO 的節點須要具備相同的訪問密鑰和祕密密鑰才能鏈接。建議在執行 MINIO 服務器命令以前，將訪問密鑰做爲環境變量，MINIO access key 和 MINIO secret key 導出到全部節點上 。
• Minio 建立4到16個驅動器的擦除編碼集。
• Minio 選擇最大的 EC 集大小，該集大小除以給定的驅動器總數。 例如，8個驅動器將用做一個大小爲8的 EC 集，而不是兩個大小爲4的 EC 集 。
• 建議全部運行分佈式 MinIO 設置的節點都是同構的，即相同的操做系統、相同數量的磁盤和相同的網絡互連 。
• 運行分佈式 MinIO 實例的服務器時間差不該超過15分鐘。

運行起來後，使用 http://${MINIO_HOST}:9001 到http://${MINIO_HOST}:9004 都可以訪問到 MinIO 的使用界面。

4.2.3 使用 nginx 負載均衡

前面單獨對每一個節點進行訪問顯然不合理，經過使用 nginx 代理，進行負載均衡則頗有必要。簡單的配置以下：

upstream http_minio {
    server 192.168.222.10:9001;
    server 192.168.222.10:9002;
    server 192.168.222.10:9003;
    server 192.168.222.10:9004;
}

server{
    listen       8888;
    server_name  192.168.222.10;

    ignore_invalid_headers off;
    client_max_body_size 0;
    proxy_buffering off;

    location / {
        proxy_set_header   X-Real-IP $remote_addr;
        proxy_set_header   X-Forwarded-Host  $host:$server_port;
        proxy_set_header   X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header   X-Forwarded-Proto  $http_x_forwarded_proto;

        proxy_connect_timeout 300;
        proxy_http_version 1.1;
        chunked_transfer_encoding off;
        proxy_ignore_client_abort on;

        proxy_pass http://http_minio;
    }
}

其中主要是 upstream 及 proxy_pass 的配置。如此，便可使用http://${MINIO_HOST}:8888 進行訪問。

5 總結

對於分佈式存儲，高可靠必是首要考慮的因素，MinIO 已經提供了分佈式部署的解決方案，實現高可靠、高可用的資源存儲。本文對可靠性的實現方法進行描述，探討了 MinIO 的存儲機制，並經過腳本模擬實踐 MinIO 的分佈式部署，但願對你們有幫助。

參考資料

• MinIO官網: https://min.io/
• MinIO開發文檔: https://docs.min.io/
• 基於 Go 開源項目 MIMIO 的對象存儲方案在探探的實踐：https://mp.weixin.qq.com/s/MzA4ODg0NDkzOA==&mid=2247487119&idx=1&sn=6e09abb32392e015911be3a1d7f066e5&source=41
• Minio 文件服務（1）—— Minio部署使用及存儲機制分析：https://www.jianshu.com/p/3e81b87d5b0b
• 使用minio搭建高性能對象存儲：https://tonybai.com/2020/03/16/build-high-performance-object-storage-with-minio-part1-prototype

往期文章

• 利用MinIO輕鬆搭建靜態資源服務
• 搞定SpringBoot多數據源(3)：參數化變動源
• 搞定SpringBoot多數據源(2)：動態數據源
• 搞定SpringBoot多數據源(1)：多套源策略
• java開發必學知識:動態代理
• 2019 讀過的好書推薦
• springboot+logback 日誌輸出企業實踐（下）
• springboot+logback 日誌輸出企業實踐（上）

個人公衆號（搜索Mason技術記錄），獲取更多技術記錄：