行業巨頭的雲計算冷數據存儲應用和比較 2016-07-15

　　現在，亞馬遜網絡服務，谷歌雲平臺，以及微軟公司都提供了冷數據雲存儲服務的產品。每一個公司都有一個不一樣的方法，那麼他們的方法如何進行比較?

　　這是一個專門爲數據訪問不太頻繁設計的的存儲服務器。其做用是存儲例如存儲在Facebook網站中的老照片。該公司優化了低硬件成本，高容量和存儲密度，以及低功耗。Facebook公司創建了獨立的簡化的數據中心，只是爲了容納這些冷數據存儲服務器。

　　處理海量數據

　　事實上，全部的分析師都預測從此雲服務市場將繼續增加，而且是快速增加。調查機構Gartner公司近日表示，雲計算將成爲今年新的IT新的主要支出。這將是數據中心空間決定性的一年，由於私有云開始讓位給混合雲，而將近一半的大型企業將在2017年末部署混合雲。

　　那麼咱們創造了多少數據?根據思科公司估計，全球數據中心流量已經進入澤字節時代，數據量從2014年的3.4ZB增加到2019年的10.4ZB。其中雲計算流量迅速增加是數據中心流量增加的一個主要緣由，2019年雲計算流量將達到8.6ZB。

　　隨着谷歌公司和亞馬遜公司已經進軍冷數據存儲市場，微軟公司決定加入這個行列。今年四月，微軟宣佈其CoolBlob存儲產品全面上市，這是一個冷數據對象的低成本存儲產品。

它有什麼做用?

　　微軟公司在四月上市的CoolBlob存儲產品具備一些特定功能，例如備份、媒體內容、科學數據、法規聽從、檔案數據等。從本質上講，這些數據不多有人訪問，這適用於冷數據存儲：其中包括法定數據，信息的第三個副本，因爲合規性須要保留更長時間的數據，以及檔案信息等，這些都是很好的例子。那麼，什麼樣的冷存儲數據來自更多的傳統的存儲選項?

　　讓咱們從一個定義開始：冷數據存儲被定義爲不活動的數據的操做模式和存儲系統。它相對於其餘存儲解決方案來講有明確的取捨。當部署冷數據存儲時，預計數據檢索時間將超出一般能夠接受的可能被認爲在線或生產應用的時間。這樣作是爲了節約投資和運營成本。

　　以社交媒體Facebook公司爲例，Facebook公司天天都要儲存來自用戶的3.5億張圖片，這些圖片將添加到Facebook公司已有的2400億張圖片庫中。這些圖片按照協議是不能刪除的，但其中大部分的照片，人們不會天天都訪問和觀看，但仍須要將它們一直儲存在磁盤中。

　　最後，它意味着使用合適的冷存儲備份解決方案，須要專門提供適合企業業務和工做負載。現實狀況是，並非全部的冷數據存儲都是同樣的。牢記這一點，讓咱們來看看這三個行業主要廠商的產品。

　　谷歌近線：谷歌公司2015年宣佈其近線存儲產品，很快被認爲是存儲市場中的一個突破性的解決方案。爲何如此?是由於該公司有一個很是快(僅需幾秒)檢索時間的直接承諾。與市場領導者亞馬遜公司的AWS冰川冷存儲產品相比，其速度是至關快的。據谷歌公司表示，還提供了一款低於公司標準的近線歸檔存儲產品，其成本更低，但可用性和延遲時間稍高。近線存儲產品首字節傳輸時間(timetofirstbyte)的時間爲2秒到5秒。當你與其餘解決方案相比時，該公司能夠被看做是一個真正的遊戲規則的制定者。然而，這個產品也有一些問題。

　　其中的緣由之一是，谷歌近線限制數據檢索的速度爲每TB存儲4MB/秒，這樣的吞吐量將使存儲消耗形成了線性增加和擴展。所以，你可能發現爲了訪問一個比特，本身須要下載大量的數據。然而，一種稱爲點播I/O技術能夠增長吞吐量，採用這種技術，你採用谷歌雲存儲近線的檢索速度將比默認配置4MB/s要快得多，但有兩件事要記住：

　　一、按需I/O默認關閉。

　　2.點播I/O只適用於近線存儲，對其餘的標準存儲或低成本存儲服務的存儲I/O沒有任何影響。

　　整體而言，谷歌承諾提供一個低成本，高耐用性和高可用性的可用於數據存檔，在線備份和災難恢復的存儲服務。能夠當即提供數據，而不是幾小時或幾天內。近線存儲以3秒鐘的平均響應時間和1美分/GB每個月的價格，能夠爲用戶帶來較低的成本。此外，它可讓你存儲「無限」的數據，並經過谷歌雲平臺存儲的API的快速訪問，數據檢索的響應時間約爲3秒。

　　最後，還提供一些數據導入的功能。除了點播I/O，也有轉讓服務。這基本上可讓用戶從亞馬遜S3，HTTP/HTTPS站點，以及現場部署來導入數據。這個過程能夠是自動化的完整生命週期管理。

　　亞馬遜的AWS冰川：做爲全球行業廠商領先的冷數據存儲解決方案之一，冰川是一個數據歸檔和在線備份安全，並具備極低成本的存儲服務。能夠容許客戶存儲大量或少許的數據。亞馬遜的訂價能夠低至每GB每個月1美分，企業實施內部部署解決方案能夠節省大量的成本。爲了保持低成本，冰川還對檢索時間進行了優化，對於那些不多訪問的數據檢索時間設爲幾個小時是合適的。冰川和近線在檢索和交付1TB的數據時將有很大的不一樣。冰川對於存儲對象檢索的時間大約3到5個小時，徹底下載爲4個小時。而採用谷歌近線存儲產品的客戶4小時只能下載5%，而完整下載1TB數據的時間約爲69小時。

　　在AWS冰川環境中，數據被存儲在「檔案」中，一個存檔能夠是任何數據，如照片、視頻或文檔。你能夠上傳一個單一的文件存檔或彙總多個文件到一個TAR或ZIP等壓縮文件，並將其做爲一個存檔上傳。

　　一個單一的檔案能夠爲40TB大小。你能夠採用亞馬遜冰川存儲無限量的檔案和無限量的數據。在建立時，每一個歸檔都被分配一個惟一的歸檔標識，而且該歸檔的內容是不可變的，這意味着在建立了一個歸檔以後，它不能被更新。

　　在這裏，亞馬遜冰川使用「vaults」做爲容器來儲存檔案。你能夠在AWS管理控制檯查看存儲庫的列表，並使用AWS的SDK執行各類庫的操做，如建立vaults，刪除vaults，鎖定vaults，vaults元數據，檢索庫庫存，標籤存儲庫中篩選和配置vaults通知。你還能夠在每一個磁帶庫授予或拒絕特定的活動，爲用戶設置訪問策略。一個單一的AWS賬戶下，你最多能夠有1000個vaults。

　　一旦你的數據在vault中，管理員將有機會使用一些精細的控制功能，其中包括機會：

　　·庫存

　　·訪問控制

　　·訪問策略

　　·鎖定庫(例如，讀寫許多控件)

　　·審覈日誌

　　·集成的生命週期管理

　　·高級和低級AWSAPI集成

　　·數據保護

　　·數據可靠性

　　微軟公司的CoolBlobStorage：這是微軟公司於今年四月推出存儲產品的追趕之舉。

　　微軟Azure的冷數據存儲層對於不常常訪問和長壽命的數據存儲進行了優化。微軟公司的CoolBlobStorage的存儲成本爲1到48美分每個月每GB，這取決於地區和存儲的數據總量。而對於「熱」的BlobStorage，也就是常常訪問的數據，存儲成本爲2.23到618美分每個月每GB。在某些狀況下，將一些數據存儲在冷存儲層能夠節省50%以上的成本。

　　這裏有一個重要的注意事項：要注意收費和計費，由於這個價格可能仍然在變化。微軟指出，爲了讓用戶嘗試新的存儲層和驗證功能，在產品發佈後，訪問冷數據到熱數據存儲層的收費方法將被放棄，這個方法只保持到20166月30日。從20167月1日起，將全部的應用到從冷數據存儲轉換到熱數據存儲。

　　微軟公司強調，用戶能夠基於其訪問模式在冷熱存儲訪問層之間選擇存儲對象數據。這裏要注意一些功能：

　　·API集成(但只與其餘現有的Blob存儲產品集成)

　　·安全

　　·可擴展性

　　·多區域分佈

　　·99%的可用性(熱數據存儲層提供99.9%)

　　給出一些忠告

　　雖然谷歌公司的近線，微軟的CoolBlobStorage，以及亞馬遜AWS冰川產品功能強大，價格實惠，但其終端到終端的整合和管理仍然是一個挑戰。而周圍的備份和存儲管理能力將是相當重要的。

　　例如AWS冰川，在容許客戶設置策略方面，只容許用戶天天檢索必定量的數據。此外，其用戶也能夠設置一個策略，用於在免費層中的檢索。相比谷歌的近線，同一類粒度排序彷佛缺乏。至於微軟的CoolBlobStorage則是偉大的，但其數據存儲服務只是剛剛開始。

　　這裏沒有明確的贏家。這將取決於用戶的特定用例。當用戶創建了本身的冷數據存儲架構，確保建立一個基於集成的最佳實踐的環境。這意味着瞭解你將存儲什麼樣的數據，保留策略，訂價，存儲和訪問速度，以及在恢復過程當中須要恢復的信息。

 

 

 

 雲服務只是一個統稱，能夠分紅三大類。

SaaS 是軟件的開發、管理、部署都交給第三方，不須要關心技術問題，能夠拿來即用。普通用戶接觸到的互聯網服務，幾乎都是 SaaS，下面是一些例子。

• 客戶管理服務 Salesforce
• 團隊協同服務 Google Apps
• 儲存服務 Box
• 儲存服務 Dropbox
• 社交服務 Facebook / Twitter / Instagram

PaaS 提供軟件部署平臺（runtime），抽象掉了硬件和操做系統細節，能夠無縫地擴展（scaling）。開發者只須要關注本身的業務邏輯，不須要關注底層。下面這些都屬於 PaaS。

• Heroku
• Google App Engine
• OpenShift

IaaS 是雲服務的最底層，主要提供一些基礎資源。它與 PaaS 的區別是，用戶須要本身控制底層，實現基礎設施的使用邏輯。下面這些都屬於 IaaS。

• Amazon EC2
• Digital Ocean
• RackSpace Cloud