混合雲存儲跨雲災備方案之跨雲備份

公有云市場現狀，問題及趨勢

從全球公有云市場來看，亞馬遜AWS一枝獨秀，佔據了接近40%的市場份額。2017年整年，AWS營收爲43.3億美圓，銷售額爲174.6億美圓。而在中國公有云市場，阿里雲的市場份額達到了47.6%。在連續11個季度三位數增加以後，領先優點繼續擴大：同期，國內第2至5位雲服務商市場份額分別爲9.6%、6.5%、6%和5.5%。

然而，近期公有云廠商出現了很多次故障和宕機事故：

2017年2月，一位AWS工程師試圖對位於弗吉尼亞州數據中心內的一個S3存儲系統進行調試的時候，意外地輸入了一個錯誤命令行，隨後大部分互聯網，包括Slack、Quora和Trello在內的不少企業平臺停機了4個小時。9月份，該區域（美東）又發生了一塊兒存儲事故。

2017年3月，微軟Azure公有云存儲可用性問題超過8個小時，主要影響到美國東部的一些客戶。

2018年6月，阿里雲在運維上的一個操做失誤，致使一些客戶訪問阿里雲官網控制檯和使用部分產品功能出現問題。

2018年8月，雲服務器聲稱99.9999999%數據可靠性的騰訊雲，由於硬盤固件bug致使的靜默錯誤，從而丟失了創業公司線上的生產數據。

相似這樣的生產事故，在各大雲廠商上，都發生過。這說明了公有云不安全嗎？數據顯示，亞馬遜AWS增速爲45.9%，微軟Azure爲61%，阿里雲達到了126%。據Gartner統計，IaaS還是將來最具潛力的增加領域，將來5年的增加率爲28%。羣衆的眼睛是雪亮的，羣衆的選擇是明智的。若是這麼多企業用戶和我的用戶都選擇了公有云平臺，並且愈來愈多的企業和我的用戶都轉向公有云平臺，說明用戶是承認公有云平臺的可用性，安全性和可靠性的。這是大勢所趨。一塊兒事故引發瞭如此普遍的討論，也從側面證明了公有云普遍的用戶基數和影響力。

傳統備份容災方案的問題

 

 

備份容災的產品和方案，依舊是傳統廠商的陣地。他們產品豐富，覆蓋面廣。相比較而言，其餘雲廠商在這方法的投入與產出顯得比較薄弱。在咱們看來，傳統的備份容災產品主要有兩大問題：

1. 非雲原生：對於公有云用戶來講，雲上的備份容災生態不夠健全。即便將傳統廠商的備份和容災軟件成功部署，也很難與所在公有云現有的資源一塊兒作到無縫監控與運維。另外，非雲原生的備份容災會給用戶帶去潛在的風險。即便一些備份容災產品已經與公有云一些產品對接，可是面對公有云廠商的產品和功能的快速發佈與升級，傳統廠商依舊沒法作到第一時間的響應與支持，用戶也就失去了第一時間享受新功能和一些性能提高的機會。最後，雲廠商內部衆多產品也有內部協調，傳統廠商的產品沒法實現這一點。對於專有云（私有云）和混合雲場景的用戶，存在一樣的問題。

2.價格昂貴，部署複雜：傳統備份容災產品面向的依舊仍是傳統服務器和存儲構建的生態。一臺或多臺設備的部署，方案的設計，以及按節點和容量的付費模式，一次性的投入對於中小企業是個沉重的負擔。設備過保或者受權過時後的維護成本有時候比初期投入還要昂貴。 

用戶的問題就是咱們的責任。除了提升每一個獨立產品的可靠性和運維保障以外，如何提供高性價比，易用和高效的災備方案，也是每一個公有云廠商責無旁貸的義務。愈來愈多的公有云用戶，則意味着愈來愈強的災備需求。阿里雲混合雲存儲團隊的雲存儲網關，混合雲備份和混合雲容災產品可以給用戶提供完備的容災方案，從而解決客戶本地IDC到阿里雲的混合雲災備場景和其餘雲廠商平臺到阿里雲的跨雲災備（多雲災備）場景所遇到的問題。本文側重梳理混合雲存儲團隊這三個產品是如何應對跨雲災備（多雲災備）場景。

基於混合雲備份的跨雲備份架構

 

 

混合雲備份對於用戶而言，架構十分簡單：客戶端和雲備份倉庫。客戶端安裝在須要備份的主機上，而云備份倉庫無限空間負責存儲備份數據。對於用戶來講，客戶端和雲備份庫是多對一的關係，二者經過公網或者專線打通。

混合雲備份跨雲備份架構圖

 

基於混合雲備份的跨雲備份實施

在這一章節，經過兩次備份和一次恢復來演示混合雲備份是如何備份用戶雲主機上的文件，備份增量數據和恢復用戶數據的。讓你們對於混合雲備份有一個直觀的認識。

爲了端到端的演示，咱們從國內另一家知名的雲廠商T那邊申請一臺虛擬機，用它來模擬用戶服務器。該雲主機配置以下圖所示：雙核4GB內存，50G系統盤，100GB數據盤，內網和公網帶寬分別爲1.5Gbps和50Mbps，操做系統爲64位CentOS 7.4，所在區域爲上海。

服務器配置

其中，100GB數據盤內有33GB的數據文件和13GB的服務器日誌。    

服務器數據盤內容

數據庫數據文件

日誌文件

而後，須要登錄阿里雲控制檯，進入混合雲備份頁面開啓服務，並建立備份。此處須要注意一點：出於備份性能和效率的考慮，混合雲備份的區域最好是跟備份源端所在的區域一致或靠近。因此，混合雲備份的區域也是‘華東2-上海區’。

 

選擇區域並開通混合雲備份

選擇區域並建立備份

建立完備份及備份庫以後，咱們須要下載客戶端和證書。客戶端是須要上傳並安裝在備份源端，也就是以前咱們建立的那臺雲主機上。

完成建立並下載客戶端和證書

將下載完成的客戶端軟件上傳至備份源的雲主機上，解壓並安裝。    

上傳並安裝備份客戶端

安裝完成以後，在瀏覽器上打開這個URL：http://<雲主機公網IP>:8011。這裏須要注意：雲主機的安全組極可能沒有開啓8011端口，須要用戶編輯安全組規則，開放TCP: 8011端口。以後，會彈出備份客戶端的註冊頁面。須要用戶輸入以前下載的證書（註冊和鏈接備份源和備份倉庫的鑰匙），阿里雲帳號的AK認證信息和用戶本身設定的客戶端登錄密碼。由於備份客戶端和阿里雲的雲備份庫之間是經過公網連通的，因此網絡類型選擇‘經典網絡’。

備份客戶端註冊頁面

註冊成功以後，用戶就能看到客戶端備份頁面。該頁面是用戶建立備份和恢復數據的入口。能夠先建立一個當即備份（當即備份能夠理解爲單次備份，只執行依次；計劃備份是按用戶定義的排程，週期性的執行備份）。這裏，咱們選擇‘當即備份’來單次備份/server_dir目錄。

建立備份

提交以後，備份就會當即執行了。在備份客戶端頁面，用戶就能看到備份進度及其餘相關信息。

備份進度

 

當備份正在執行的時候，有不少用戶會很關心一個問題：備份會不會影響備份源端的正常業務？咱們能夠經過源端的資源監控來查看備份進行時，CPU，內存和網絡使用狀況。能夠看到，當備份開始執行的時候，CPU負載並無增長，內存使用增長了400MB左右。對服務器的資源佔用並很少。網絡帶寬迅速被打滿，體現了混合雲備份服務的高性能特色（注：雲主機只有一塊網卡，因此內外網流量相同。暫且理解爲該雲廠商就是這麼設計的）。

在備份時雲主機的資源使用狀況

 

接下來，向server_dir目錄中增長一個新的目錄，裏面包含了不一樣的13GB文件，並在‘流量控制’頁面對備份任務作限流處理：24小時限流，最大速度爲2MB/s。記得點擊‘添加’將限流策略生效。

新增13G文件

備份限流

提交以後，備份任務執行。能夠看到備份總量爲57GB，但備份進度很快就顯示79%，速度超過了1.5GB/s。這是由於備份源目錄中，有超過45GB的文件是已經備份過的。混合雲備份經過高效的比對算法快速甄別出兩次備份集中的差別部分，將新增文件和有變化的文件增量備份至雲上，從而提升了備份效率。

增量備份

看到備份速度顯示1.56GB/s，確定不少人會有疑問：限流有沒有起做用？讓咱們來檢查一下，流量控制是否生效。在雲主機的資源監控和主機上的nload輸出，能夠很直觀的看出，16Mbps就是2MB/s的出網速度。CPU利用率有一個很短暫的高負載階段，那是由於在比對增量文件時，主機付出的計算成本。

 

雲主機資源監控

主機nload輸出

兩次備份完成以後，咱們在阿里雲控制檯的混合雲備份頁面，也可以很是直白地看到備份概要的信息：2次成功的備份，總的源數據和實際佔用備份庫的數據。原始數據和實際佔用有一個比例，表明了壓縮重刪比。阿里雲混合雲備份實現了高效的壓縮重刪算法，最高可達1:30，從而大大節約備份時的帶寬佔用和備份庫的空間佔用。

備份庫信息

最後，咱們來演示一下混合雲備份是如何實現跨雲恢復文件的：將備份庫中的文件恢復到其餘雲廠商的主機中。咱們模擬用戶丟數據的場景，將db_file和server_log目錄所有刪除。    

刪除文件

回到混合雲備份服務的恢復頁面，咱們能夠看到以前成功備份的兩次記錄，以及相關信息。

混合雲備份恢復頁面

點擊最近一次備份記錄的‘恢復’按鈕來恢復最近數據。彈出的數據恢復頁面，能夠指定將哪些備份文件恢復到哪一個目標目錄中。很容易理解。這裏須要注意一個細節：確定會有不少用戶在目標文件夾這裏寫上跟備份文件夾同樣的路徑，而後選上‘全部文件’以後，實際恢復的時候會在‘/sever_dir/’下面再建立一個’sever_dir’目錄。固然，這不會影響什麼，只是在恢復完成以後，再作一些目錄的移動操做就能夠了。  

簡潔靈活的恢復策略

點擊‘提交’以後，就能看到數據恢復頁面。能夠看到恢復的性能，數據量和文件數統計。恢復性能比以前備份性能好，多是由於雲廠商T對寫入帶寬放的比較寬。能夠看到，恢復性能仍是很是好的。瓶頸應該是在該雲主機100GB雲盤的寫入性能上。

數據恢復

一樣的，用戶也能夠經過在雲主機上查看網絡流量的方式來確認的文件恢復的速度。

恢復性能

等恢復完成，用戶能夠在客戶端的恢復頁面看到恢復成功的狀態。

恢復完成

經過登錄雲主機，咱們也看到被刪除的2個目錄被恢復回來了。而且，元數據也被完整恢復了。

恢復後的文件目錄

 

小結

經過以上三個用例，用戶能夠很直觀地瞭解到混合雲備份在跨雲或多雲場景中是如何按需和按時地高效備份和恢復文件了。批處理一鍵安裝和註冊備份客戶端可輕鬆支持多臺雲主機的文件備份場景，這對於企業用戶保護多臺主機的文件很是便捷。

 

最後，混合雲備份客戶端已經支持全版本的Windows操做系統（32位和64位）及主流的Linux發行版（32位及64位）。對MacOS的支持也會在近期發佈。有興趣的企業和我的用戶，能夠到阿里雲官網上開通混合雲備份並使用！