大話雲存儲，這個「對象」可能無處不在

做者：pasca

公衆號：蛋蛋團(dandan_tuan)

前言

對於企業來講，隨着計算機和互聯網的爆發式發展，其帶來的海量非結構化數據存儲，無疑成爲一個難點。

互聯網領域有個著名的「八秒定律」，指的是當用戶訪問網站時，若是等待網頁打開的時間超過8秒，會有超過70%的用戶放棄等待。對於企業來講，放棄等待也可能意味着用戶流失，這是不可忍受的。 而對於雲計算中的細分領域雲存儲廠商而言，利用「中心化」的雲存儲助推企業減小上雲成本，既實現了企業海量非結構化數據的存儲難點。最關鍵是提升了企業內容分發效率，實現了共贏。

一、Who：誰使用對象存儲

根據IDC近日發表的《世界的數字化從邊緣到核心2025》報告中預測，全球每一年產生的數據將從2018年的33ZB增加到175ZB，至關於天天產生491EB的數據，而175ZB約等於1.1萬億GB，若是這些數據存儲在DVD光盤中，可比那句著名某奶茶的廣告語「圍起來可繞地球一圈」還要多222倍。

而Gartner分析，2020 年，全球物聯網設備數量將達到204億。

所以，雲也成爲了新的增加核心，企業再也不拘束於傳統數據中心，而採用公有對象存儲服務。

IDC預測，到2025年，49%的全球已存儲數據將駐留在公共雲環境中。而將來將再也不是一座座數據孤島，大數據和雲計算緊密關聯，爲遊離的海量提供智能服務。

企業產生的數據量將佔到全球數據總量的60%，將取代消費者成爲全球數據量產生的第一大主體，這意味着存放非結構化數據的企業級存儲將蓬勃發展，真正實現了「對象」的無處不在。

二、What：對象存儲是什麼

企業級存儲架構通過了多年發展，不只性能大幅提高，功能也在向多元化發展。 而對於企業而言，成本是一個繞不過去的坎。數據愈來愈多，存儲量愈來愈大。而在這其中，還有一個如何去高效利用存儲資源高效利用的平衡點。 爲了更加高效地使用存儲資源，從而達到節省成本的目的，逐漸出現了自動分級、去重、壓縮等技術，而這些經過被完美的運用到了對象存儲。

在對象存儲以前，有着塊存儲和文件存儲兩種存儲類型，塊存儲兩種類型。

簡單來講，塊存儲特色是高性能讀寫，有些數據，是必須在塊存儲運行的，如數據庫。文件存儲的特色是共享性高，可是讀寫性能較慢。

SDN（軟件定義網絡）可能你們都據說過，可是SDS（軟件定義存儲）就沒幾我的知道了。實際上，對象存儲的設計原理符合SDS的理念，其特色是低成本、高安全且用戶角度上存儲池無限拓展。

對象存儲是一種網絡存儲技術，其最大的特色就是將數據與元數據的存儲及操做分離，在性能上綜合了塊存儲和文件存儲的優點，具有了高性能讀寫和共享性高的特色。

主要包括對象 (Object)、OSD(對象存儲服務器)、文件系統、元數據服務器(Metadata Server，MDS)和網絡鏈接幾個組成部分。

而其和塊存儲最大的區別是隻能存儲非結構化數據，如音視頻文件、壓縮包等等。而且若是是傳統SAN 或 NAS架構能夠應對TB~PB 級存儲規模，但當海量數據發展到 PB~EB 級存儲規模時，內部組織結構按照樹狀結構、文件系統形態的傳統存儲可能就力不從心了。

所以，對象存儲服務成爲一個很好的選擇。

三、Why：爲何他們會使用對象存儲

圖靈獎得主Jim Gray :每18個月,新增的數據量等於有史以來數據量之和。

若是仍是傳統架構，對於如此龐大的數據量，不管是任何企業，都只能喊「求放過」。

而其中非結構化數據的內容佔據了數據海洋的80%，隨着公有云的不斷普及，對象存儲已經成爲傳統存儲非結構化數據的有效補充，根據計世資訊的報告代表，用戶最經常使用的對象存儲服務場景分別爲如下：

而對於對象存儲，主要解決了如下用戶如下幾點需求。

1. 冷熱分層。即經過標準存儲（熱數據）和低頻存儲（冷數據）的存儲方式，有效下降存儲成本。
2. 豐富數據處理。存儲上雲，如今企業不只僅只是做爲單一存儲職能。更多的是但願雲廠商可以提供一站式的數據管理方案，如音視頻/圖片的編輯和處理還有水印等功能。這兩個資源如今的採集源實在太多，可是某些格式兼容又不是很好。舉個例子，如在音視頻領域，目前兼容性最好的是H.264+aac的編碼方式，然而不少用戶上傳的確實H.265+aac或者mpeg-4+aac的編碼的視頻。這直接致使了這種視頻不能在瀏覽器直接觀看而必須經過特殊播放器才能支持
3. 靜態資源分發。存儲上雲，固然不可能只是做爲死數據存儲就好了，更重要的是如何送到「全世界用戶」的終端去讓展現。爲了減輕源站服務器的壓力以及用戶更快的訪問到熱點資源， 而如今雲廠商都搭配了對象存儲和CDN（內容分發網絡），CDN其原理就是以存儲換時延，將熱點資源下沉，從而下降訪問延遲
4. 容災備份。儘管咱們時常看新聞說某某廠商服務崩潰，可是若是從機率學統計，公有云對象存儲的服務不可用時間遠遠的低於自建IDC或者自建私有云服務。對象存儲其自身的三副本和糾刪碼存儲機制也可以保證數據設計持久性達到11個9（七牛雲、阿里雲等）。同時，雲存儲還會提供跨區域同步和異地雙活等機制來最大限度的保證服務可用性。

四、how to do:應用場景分析

在公有云對象存儲領域中，視頻監控、相冊存儲、視頻原創、智能IOT等已經成爲對象存儲中的前四大典型用戶。

近幾年火熱的智慧城市，智慧樓宇直接催熱了視頻監控領域。若是把城市譽爲一我的，那遍及城市各個地方的無數攝像頭成爲了最前沿的傳感器，其傳輸回來海量的監控視頻數據對存儲也是一場苛刻的考驗，爲了保證監控視頻向網絡化、在線化、智能化還有高清化發展，公有對象存儲成爲了代替傳統SD和NVR本地存儲方案的最佳方式。 根據中國帶寬發展聯盟發佈的數據，去年Q4季度國內的固定寬帶網絡平均速度達到了28.06Mb/s，同比提高47.61%，而4G移動網絡的平均速度也達到了22.05Mb/s，同比提高21.29%。

人均帶寬的提升，直接影響就是娛樂音視頻行業的爆發增加，不管是視頻仍是圖片，都在往高清化發展，目前千元機都能購買到4800w像素的手機以及4K視頻的拍攝，無不印證着這一點。

這對於對象存儲而言，以視頻和圖片的企業成爲公有云對象存儲的top3用戶。

例如短視頻行業，目前已經成爲繼直播以後的新風口。對象存儲服務能夠覆蓋視頻的生成、上傳、處理、 分發和播放在內的各個環節，幫助用戶以最快速度實現短視頻應用的上線。

並且，隨着5G的到來，各類IOT智能設備也將呈現不同的服務方式。目前在物聯網領域最大的難點在於數據如何高效的傳輸和使用。

做爲物聯網技術的重要組成部分，是感知城市各領域的直接終端，這些終端時時刻刻產生大量非結構化數據。不管是路邊的路燈使用情況，仍是自動售貨機的庫存信息。「萬物互聯」就在眼前。而存儲這些PB甚至ZB的數據不的不運用到海量可擴展的對象存儲服務。

五、總結

對於用戶而言，不只僅但願只把數據存儲起來，並且 要能與他們的計算能力相適配，而且但願能夠快速地得到計算能力，以實現數據的靈活運用。 對象存儲的趨勢是往公有云發展，其可以知足隨時隨地對數據的處理、分析等需求。甚至結合人工智能，對音視頻/圖片提供鑑黃、OCR識別等服務。 最終，充分利用企業數據發展驅動力，結合其餘產品，爲用戶提供一站式數據管理平臺。