混合雲存儲組合拳：基於雲存儲網關與混合雲備份的OSS數據備份方案

• 前言

阿里雲對象存儲（OSS）用戶衆多。不少用戶由於業務或者合規性需求，須要對OSS內的數據作備份，不管是線上備份，仍是線下備份。用戶能夠選擇使用OSS的開放API，按照業務需求，作數據的備份，也能夠選擇OSS已有的服務進行數據備份，好比OSS的跨域複製。可是，前一種方式，存在易用性和備份效率問題；後一種方式，只是將數據存雙份或者多份，沒法有效規避原始數據出問題後，被複制的那份數據也出問題的風險。本文介紹的基於雲存儲網關和混合雲備份的OSS數據備份方案，不只能保證OSS數據按策略的多版本備份，並且配置簡單，性能好，效率高，成本低。

• 基於雲存儲網關和混合雲備份的OSS備份

如下是基於混合雲產品的OSS備份方案架構圖。首先，經過一臺雲存儲網關將OSS bucket中的文件反向同步至網關緩存中；在一臺ECS上掛載雲存儲網關的目錄，並安裝混合雲備份agent；最後，配置混合雲備份策略和任務便可方便地將存儲網關中的文件多版本的備份在雲災備庫中。

基於混合雲產品的OSS備份架構圖

- 實施與配置

首先，用戶須要登錄阿里雲控制檯，開通雲存儲網關服務 。此處須要注意一點：出於備份性能和效率的考慮，雲存儲網關和以後的混合雲備份的區域應該跟備份源端OSS所在的區域一致。

這裏咱們建立一個性能型的雲存儲網關，保證OSS數據同步到雲存儲網關，以及後續雲存儲網關上的數據備份到災備庫的帶寬和性能有保障。固然，用戶徹底能夠根據OSS內的數據總大小和增速，文件數目，單個文件的大小來決定選用哪一種類型的雲存儲網關。

建立雲存儲網關

建立完成以後，進入網關的管理配置頁面，進行簡單的三步配置：緩存設置，雲資源設置和掛載目錄設置。

雲存儲網關管理頁面

緩存設置是將網關的緩存配置生效的過程。點擊建立，選擇可用的緩存盤便可完成建立。

緩存設置

雲資源設置是將OSS bucket與雲存儲網關鏈接的過程。用戶只須要選擇同步的bucket名稱便可。雲存儲網關支持SSL加密鏈接OSS，保證數據傳輸的安全。

雲資源設置

目錄設置是對客戶端提供掛載目錄的過程。雲存儲網關支持NFS和CIFS兩種通用的NAS協議。這裏咱們配置NFS掛載目錄。須要注意的一個配置項是‘反向同步’。由於咱們須要將OSS bucket內的文件同步至雲存儲網關上，所以，反向同步須要選擇‘是’。另外，‘模式’保持默認的‘緩存模式’。這樣雲存儲網關只保留熱數據及冷數據的元數據。而同步模式則是緩存盤大小和雲上OSS的文件總大小保持一致。注意到高級設置中有‘方向同步時間間隔’一項，它的做用是讓網關每隔多久去OSS拉去最新的文件，並同步到網關上。放在整個方案中考慮，該選項無需設置的很短，由於以後的混合雲備份是按照小時或者天級別來定義週期性備份的，因此比較合理的設置是讓雲存儲網關以小時級去反向同步OSS的數據。

NFS目錄配置

至此，雲存儲網關上的配置就所有結束了。接下來，須要申請一臺ECS來掛載雲存儲網關提供的NFS目錄。這裏申請一臺內網帶寬高的ECS與高性能網關的帶寬匹配。以後，就能夠去開通混合雲備份了。開通以後，選擇好區域以後，也只須要簡單的三步便可：建立備份庫，下載安裝備份agent和備份策略和任務的配置。

建立備份庫，十分簡單：給備份倉庫取名字，肯定備份類型和下載客戶端和證書。

建立備份倉庫

選擇備份類型

添加客戶端

下載客戶端和證書

將下載完成的客戶端軟件上傳至以前申請的Linux ECS上，解壓並安裝。

上傳並安裝備份客戶端

安裝完成以後，在瀏覽器上打開這個URL：http://<雲主機公網IP>:8011。以後，會彈出備份客戶端的註冊頁面。須要用戶輸入以前下載的證書（註冊和鏈接備份源和備份倉庫的鑰匙），AK認證信息和客戶端登錄密碼。由於備份的整個鏈路都在阿里雲網內，因此網絡類型須要選擇‘專有網絡(VPC)’。

備份客戶端註冊頁面

註冊成功以後，用戶就能看到客戶端備份頁面。該頁面是用戶建立備份和恢復數據的入口。在備份以前，記得要將雲存儲網關的NFS目錄掛載在這臺ECS上。再回到備份客戶端頁面，能夠先建立一個計劃備份（當即備份是隻備份一次，計劃備份是按策略週期性的備份）。建立計劃備份須要先建立一個備份策略。這裏定義一個天天下午5點半開始的備份策略。備份數據會在備份庫中保存2年的時間。

建立備份策略

接下來就是建立備份了。將ECS的掛載目錄輸入到源地址中，選擇‘計劃備份’和以前建立的備份策略，提交便可。

建立計劃備份

提交以後，就看到了備份任務。看詳情的話，就知道上次備份的情況和下次備份的時間。

計劃備份詳情

當時間到了以後，備份就會被自動觸發。能夠看到備份任務正在掃描文件總數和數據總量，並實時地顯示備份速度。

執行中的計劃備份任務

下圖是備份過程當中的一些統計。須要指出的是狀態中的進度百分比會出現抖動，有時候會低於以前的進度。這是由於在統計備份進度的時候，是根據已備份的數據佔總計備份文件的比例。由於雲存儲網關在不停地反向同步OSS的文件，這樣就會在掃描文件的時候，出現備份文件的性能跟掃描文件性能交替的狀況，致使用戶看到的進度不是一直遞增的。有些時候會出現進度變成了100%，但實際上，雲存儲網關立刻又會同步不少新文件給備份服務去備份，進度又會變成90%多。

掃描完成後的計劃備份任務

OSS上的文件數和存儲空間統計

在備份進行中，還能夠去雲存儲網關的監控頁面查看緩存和網絡吞吐性能。從下圖能夠看出來，網關從下午5點鐘的時候就一致在持續從OSS中讀取文件到被備份的ECS所讀取。

雲存儲網關性能圖

等待備份完成，能夠看到此次備份的文件總數，和上面OSS控制檯看到的文件數目是一致的。另外，就是用戶最爲關心備份性能，44.88MB/s。經過文件總大小和總數計算出，文件的平均大小爲6.8MB左右，屬於中等偏下的文件規格。考慮到不少目錄結構很深，這樣的備份性能是十分不錯的。另外，由於雲存儲網關反向同步寫磁盤和備份服務讀磁盤，對於200G的緩存盤而言，也接近瓶頸了。若是用戶的備份數據量比較多，單個文件更大，而且還想提升備份性能，能夠增長緩存盤的容量。這種場景下，幾百MB/s的備份性能也是能夠達到的。

備份完成

還能夠去控制檯的混合雲備份頁面查看控制檯上的備份倉庫信息。能夠看到進行了1次備份，也成功了。關鍵的信息是右側的原始數據和實際佔比。能夠看到通過混合雲備份後的數據，實際佔用是1.31TB，小於原始數據的大小，由於混合雲備份在將備份數據寫到備份庫的時候，對數據作了重刪壓縮。

備份庫信息

• 總結

雲存儲網關和混合雲備份服務搭配的OSS備份方案是一款雲原生的OSS備份方案，能夠在阿里雲控制檯一站搞定。整個方案不只能夠知足OSS用戶對於備份性能和多版本的要求，並且很是有性價比。雲存儲網關目前處於開放公測階段，是免費的。混合雲備份服務是按照備份客戶端數目和去重壓縮後的備份庫容量收費，既能夠按需購買，也能夠購買資源包，靈活且用戶友好。

另外，全部用戶都會關心備份的數據一致性和數據安全。在整條備份鏈路中，雲存儲網關反向同步OSS數據到緩存盤的時候，會有數據一致性校驗；在備份服務讀取緩存盤數據，再寫到備份庫的時候，也有一致性校驗。而且，整條備份鏈路是數據加密的。當數據寫到備份庫的時候，備份庫的三副本技術也確保了用戶數據萬無一失。

最後，當用戶須要恢復數據的時候，混合雲備份服務能夠細粒度到按文件恢復到指定目錄，結合雲存儲網關的跨VPC訪問的特性，能夠作到數據恢復和分發的靈活性。

做者： justin_wu_bo
原文連接 本文爲雲棲社區原創內容，未經容許不得轉載。