多備份創始人解析如何搞定TB級數據上雲備份保護

大規模數據備份保護現狀

從多備份目前10萬多用戶中發掘的大型客戶看，業務規模稍微大一點，日誌，DB歸檔，在線編輯，生產加工產生的數據，設計類文檔，及平常運營的累積的數據等就輕鬆超過TB級。而對於TB級數據，有幾種場景定義和區別：

• 單個節點的數據量上TB級

• 總量上TB級，但分佈在多個節點

• 總量上TB，但單個文件量上百GB

• 總量上TB, 文件數規模很大，上萬千，甚至過億

• 總量上TB，類型不同，有的是DB備份後的壓縮文件，有的是圖片，有的是文檔類

• TB級數據是用戶產生，從用戶中來，到用戶中去，好比視頻，圖片等UGC內容，對於這類冷的數據，逐步也須要進行歸檔冷備起來

對 於目前以上6種狀況，咱們瞭解到，絕大部分企業，並無作比較系統的保護，或者說作了系統的保護，但都是在本地環境作的，一旦遇到人爲緣由，軟件缺陷，或 者存儲故障等，數據丟失的風險至關大； 有至關能力的，本身作了異地或本身作雲存儲備份方案，但在靈活，系統化的，擴展性，成本方面並無優點，畢竟對企業來講這不是核心運營的業務。

目前市面上的一些現有解決方案的特色：

策略通常就是全量+增量結合，選用專用的存儲設備，接上高速的光纖通道，配上專用的系統維護人員，這類方案在本地有足夠的優點，備份和恢復快，但缺點也是至關的明顯，並且從設計理念上來看，如下的幾個點基本只有廠家本身革命才能解決：

• 第1：複雜，配置、部署以及使用操做維護都須要專業的管理人員，基本上在互聯網企業看，即便是作完B/C/D輪的，甚至IPO後的企業，出得起錢，也是不會考慮如此方案。

• 第2：升級擴展複雜，預先估計容量，後續擴展起來至關麻煩，必須的改變存儲策略，或從新離線作數據遷移分佈。若是初始購買的存儲擴展有限，後期還不能很好的升級擴展。

• 第3：3-5年左右的生命週期，也就是說，數據通過幾年後，改造升級，購買新的方案是必須的，這樣當數據上到百TB級別，整個工程實施也是至關複雜了。

• 第4：難於對接互聯網+的思路轉換， 因爲是離線的備份存儲方案，若是和業務系統對接，實際上基本上就是不太可能，尤爲是目前很多企業開始增強互聯網+的運營思路的調整，數據不斷會和外部系統進行交換或對接。

• 第5：貴，特別的貴，若是對原始TB級數據作專業備份保護，投入得數十萬，具體到不一樣的行業，、性能和保護窗口參數稍微提高，投入當即上升到百萬級。

固然若是對於很是有資源和有足夠多的預算，這一切都看起來都不是問題；而事實上，這類用戶仍是隻有在至關土豪的機構和企業裏面纔有，就連銀行都沒法完全按照嚴謹的實施和維護方案落實，纔會出現連續不斷的銀行機房燒燬數據丟失，或者宕機幾十個小時的狀況。

終歸緣由，對於關鍵的業務系統的備份保護，不牢牢是上了一套專業的方案，或者作了異地災備，事情就能夠完美解決；更重要的是，還得有操做簡單，容易驗證，應急性強的方案。

解決思路

多 備份從2013年成立以來，一直以互聯網的簡單、親民的服務化思路演化，目前服務過的客戶，包括GB級的到TB級，涉及到關鍵運營業務系統數據庫，也包含 企業平常運營產生的文檔資料存儲備份保護等。通過上PB級的數據訓練，多備份從第1代全雲的架構方案，到目前迭代的到最新的第2代基於混合雲架構的保護方 案。

第2代方案設計的目標主要面向TB級數據保護需求，完全切分TB級數據6個構成面，並主要分解爲以下幾個點：

• 最大化下降備份存儲空間，數倍下降企業TCO投入

• 簡化使用門檻，包括配置流程，以及保護策略

• 數據備份和恢復的速度要在基於雲的架構下，足夠的快

• 按需在線擴展，永不停機，足夠可靠

• 支持數據按需流動，真正意義讓數據在必要的時候，能動起來

• 僅由客戶全程加密掌控數據，充分保護數據隱私 

基於以上6個設計目標，咱們從幾個方面來剖析多備份是如何作到的

以云爲核心，外網IT存儲設施混合的本地+雲的混合設計模型

首先，多備份總體架構，圍繞雲來設計，充分利用雲的幾個特色

• 按需擴展，對客戶，對多備份自身服務的投入按需增長 

• 可靠，雲的計算和存儲分佈特色，使得系統在計算和存儲都具有傳統結構不具有的數倍的可靠性 

• 安全，基礎雲服務商自身在安全方面不計成本，比起本身構建IT設施，來得更加專業

• 擴展，開放性更好，使得構建的服務，更容易外部系統對接

目前在具體的基礎實施平臺中，重點包括阿里雲，騰訊雲，AWS，金山雲，微軟AZURE，移動雲，七牛，百度雲等平臺，這些都是全球或國內知名的大型雲平臺。

其次，爲了更好融合企業IT場景，以及一些合規規定，多備份在第1代雲的基礎上，增長了外圍對接，支持數據備份存儲在本地環境的存儲設施，如NAS, SAN 或者節點的另外的磁盤分區等，這樣一來有3個好處：

• 數據能夠在本地存儲一份，特別是熱一點的數據， 其餘數據能夠部分或者所有上雲進行備份保護起來

• 常規的備份和恢復任務的會第1時間在本地環境完成，數據會在本地完成後，最快的時間同步上雲

• 一些政企合規的數據能夠保存在內部，其餘的非敏感類的數據能夠加密上雲。

數據發現，傳輸，存儲等所有采用全增量+時間點版本映射結構設計

具有時間刻度特性的，本地和雲兩級全增量索引

爲了實現更低的存儲開銷，更快的備份和恢復速度，多備份從索引的設計，數據版本組織策略上都採用全增量模型，而且支持任意時間點的版本和索引的映射，這樣就爲任一時間點的數據恢復或下載等提供了可行支持。

索 引是構成整個系統的關鍵，數據的變化，不管從本地往雲，仍是從雲往本地，都以來索引來快速找到對應的數據塊。而傳統的方案裏面，索引也存在。多備份的特色 在於，結合了雲之後，索引所有采用分區分段構建雲索引中心的擴展模型，在量級，動態遷移是傳統的方案沒法比較的。理論上，客戶越多，數據越大，邊際效應就 越好，給客戶回饋的成本優點就更越明顯。

在這裏，本地的索引用來快速支持數據的變化檢查，雲端的索引用於本地失效後的變化檢測，以及在線數據服務接口的支持。

在每一次的數據備份時刻，都會記錄相應的數據映射關係，這樣能夠知足任意時間點的數據恢復和使用檢索需求。

按 照目前的設計，在本地能夠支持2TB的數據索引關係，支持的數據量能夠到達PB級，文檔(含數據庫備份壓縮備份歸檔數據文件)數量能夠到達十億級別規模。 而在雲上集中的存儲規模理論上受限於雲平臺自己的存儲容量，幸運的是，即便在這一刻，多備份也能夠正常運行，緣由在於，多備份底層已經支持多個雲的分佈或 聚合。

本地+雲兩級全增量策略保護模型，更快，更省的本性

多備份在數據策略化組織這裏所有采用增量模型，與傳統的按期全量+增量模型在存儲空間和效率方面有着顯著的區別。通常原始數據在500GB規模的，按照一般的服務溝通模型下來，3個月下來也得有10TB級規模了，若是採用傳統的方案，成本將到達百萬級投入規模。

多備份依託於雲存儲的冗餘分佈特性，在時間和空間分佈的可靠性方面已經遠遠大於本地存儲。正由於如此，多備份的增量備份存儲策略機制在保持最小的數據開銷規模下，每次的備份效率都出奇的高，一樣，按照時間點任意恢復數據的時候速度也至關快。

一樣，因爲其邊掃描邊備份，實時增量檢測，塊級存儲的增量特性，以及壓縮策略智能化，單個幾百GB規模的文件，文本和圖片視頻，仍是在數量衆多的千萬級規模下均可以勝任。

基於雲的兩級增量模型最大的好處就是在TB級數據規模下，具有超低投入，甚至低至傳統方案的1/10 TCO，高速度；一樣，具有時間刻度恢復的特色、

端到端AES256加密機制，與Cloud 5分塊算術冗餘分佈機制，讓數據足夠的安全與可靠

在多備份的整個體系設計中，安全是從端到後臺，總體設計全程考慮，不打折扣，嚴格從機制上保證數據上雲的機密性。

數 據從客戶端接入數據後，當即進行AES256加密，加密後的數據分佈在雲存儲中，而加密用的密鑰則是在安裝過程當中，由客戶端產生並有客戶本身保存下來。對 於特別要求可靠的數據，Cloud 5技術能夠在保持2倍的成本投入下，進一步在多個不一樣種類的雲存儲，或者單個雲的多個存儲中心之間提升備份數據可靠性，幾乎就是永不丟失。

圍繞80%的場景設計, 安裝設置與維護儘量快和簡單

多 備份在具體的部署方案上，分紅控制中心和客戶端設計，固然還有無安裝模型。目前不管是控制中心，仍是客戶端都採用80/20場景適應的原則來考慮，在具體 使用流程和參數佈局上，全面改變傳統的幾百個使人發暈的參數配置方案。全部的標準化操做考慮80%的場景覆蓋，除了頻率，內容設置，速度限制，必要的連接 參數外，其餘都不在多備份主流程中。這樣在具體的功能組合，流程模板顯示，操做菜單，以及按鈕均可以保持很是簡單的流程和交互設計。

做者介紹：

聯 合創始人& CTO - 陳元強 曾就任於寶德、騰訊、盛大(旅遊)、宜搜、4399，歷任經理、總監等核心研發崗位。主導過國家級IT安全系統研發和實施；負責家庭戰略項目的產品研發管 理工做，主導QQ空間大數據分析和騰訊網分佈式流量分析平臺的研發。在海量用戶、數據安全、網絡通信和大數據挖掘等應用領域方面具備豐富的經驗。