「過去幾年,大數據產業更多關注的是如何處理海量、多源和異構的數據,但咱們必須認可這些只是冰山一角。目前,結構化數據僅佔到所有數據量的20%,其他80%都是以文件形式存在的非結構化和半結構化數據。伴隨非結構化數據呈現爆發之勢,對象存儲市場近兩年保持強勁增加,IDC預計,軟件定義存儲(SDS)市場將來五年複合增加率將達到28.8%。」安全
傳統IT架構漸成「過去式」 非結構化數據倒逼存儲變革服務器
今天,許多企業已經意識到,結構化數據僅僅是企業所擁有數據的一小部分。與業務信息系統中大量用於交易記錄、流程控制和統計分析的結構化數據相比,非結構化數據具備某種特定和持續的價值,這種價值在共享、檢索、分析等使用過程當中得以產生和放大,並最終對企業業務和戰略產生影響。
多年來,杉巖數據經過對金融、教育、醫療、製造等行業的百餘家知名客戶的IT信息化研究發現,非結構化數據的容量、文件的數量已經大大超越了傳統NAS存儲的處理能力,企業級存儲從需求到產品形態的「自我變革」也變得更加急迫。
同時,IDC數據顯示,到2020年,企業數據整體將達到44ZB,其中80%的數據將會是非結構化數據(圖片、視頻、歸檔以及企業級備份等數據),對象存儲市場規模將達198億美圓,這也從側面印證了杉巖對於對象存儲將來發展的趨勢判斷。
在杉巖看來,軟件定義存儲將給金融、教育、醫療等傳統行業的IT架構帶來革命性改進,特別是對文件數量過多、非結構化數據歸集檢索調取效率低、傳統架構沒法按需彈性配置存儲空間等問題將發生完全改變。架構
在服務深圳某三甲醫院的過程當中,杉巖發現電子病歷、臨牀影像文件(如CT 、X光、彩超、高精動態影像等)、非核心繫統的數據歸集、查詢和調閱等問題成爲傳統架構面臨的最大挑戰。
好比,在進行影像數據調閱時,數據歸檔離線後,沒有任何元數據的管理描述,憑文件系統的目錄結構進行數據查找,很是費時費力。併發
當病歷文件數量到達百萬級近千萬之後,存儲性能會出現大幅降低;而醫院服務器上的數據仍然是孤島狀態,服務器之間的存儲資源和數據並無實現共享。分佈式
固然,這些問題不止出如今醫療行業,在教育行業傳統存儲架構遭遇的問題也十分突出。杉巖在爲某高校搭建對象存儲架構時發現,大學各職能機構以及二級學院之間信息系統相對割裂,所以在系統安全性和可維護性方面十分困難。ide
而建築學院、傳媒學院、電影學院、服裝學院等專業性學院會產生大量的非結構化數據做業,如CAD製圖、影視做品、圖片設計、服裝樣片等等,這些數據對存儲空間的擴展性和存儲安全性提出了更高的要求,既要可以知足在教學、科研等場景下數據存放的要求,同時還要知足做業提交、班級數據共享、科研數據分析調取等多元化需求。
此外,在銀行、證券行業的平常業務中,客戶證件、遠程開戶錄像、合同掃描件、客服中心語音、企業相關電子文檔資料等是最多見的非結構化數據。性能
這些文件平均大小從KB到MB甚至GB級別不等,近兩年文件量呈現高速增加狀態。從存儲容量上看,這些小文件甚至佔據了金融機構數據總容量的80%以上。測試
根據監管部門要求,銀行、證券、保險等金融機構需實施專區「雙錄」,即對自有理財產品及代銷產品的銷售過程同步錄音錄像,「雙錄」規定的實施會帶來海量非結構化數據。以上這些問題都讓僵化的傳統IT架構有一種深深的無力感。大數據
對象存儲走向舞臺中央 杉巖從新定義企業存儲新標準雲計算
隨着傳統IT架構的弊端日漸凸顯,以杉巖爲表明的一批創新型存儲廠商開始從新定義企業級存儲的標準。從2014年創立伊始,杉巖便早早瞄準對象存儲市場並持續深耕。
通過四年的快速發展,杉巖目前在全國範圍內擁有近百家合做夥伴,業務範圍覆蓋政府、金融、運營商、教育、醫療、電力和製造等十餘個行業,用戶數據量部署總和超過100PB。
其研發的杉巖海量對象存儲(SandStone MOS)已成爲海量非結構化數據存儲的主流解決方案,其在廣發證券檔案中心、武漢大學智慧校園雲存儲平臺的成功應用獲得了行業用戶的普遍好評。
對於海量數據的存儲問題,杉巖海量對象存儲(SandStone MOS)解決方案採用去中心化分佈式架構,同時利用軟件定義的方式實現了單一名字空間條件下數百PB級規模的容量擴展,業務能夠隨時隨地訪問而不受數據存儲位置的限制。
在提高海量小文件訪問性能方面,SandStone MOS利用哈希計算實現了數億級文件的高效訪問。針對文件檢索困難,SandStone MOS支持標籤功能,文件存儲時會自動設置標籤,從而更好地與業務結合,知足高效檢索。
好比,在銀行業務場景下,當業務人員想要提取相關視頻音頻文件時,能夠根據文件標籤進行檢索調閱。
此外,SandStone MOS在易用性與可維護性方面也超越了同級別產品,其採用「x86通用服務器+存儲軟件」的分佈式解耦架構,將底層存儲空間與上層業務邏輯空間進行分離,軟硬件的升級不會影響到整個系統的正常運行
即便系統有再多應用更新,也不會影響存儲空間的使用。值得一提的是,SandStone MOS獨創的分佈式存儲數據盤漫遊功能,能夠幫助企業用戶漸進式的進行老舊硬件設備更換,不影響業務的正常運行
在對象存儲領域的專一與持續創新,換來的是行業的高度承認。去年8月,杉巖數據成爲首家經過Intel中國雲計算創新中心測試併發布報告的軟件定義存儲廠商。
與此同時,杉巖數據做爲國家信息化標準委員會雲計算標準工做組成員單位及中國開源雲聯盟理事單位,前後參與了分佈式存儲國家標準的制定工做及Ceph行業白皮書的編寫工做。
現在,對象存儲正煥發出更大的生命力,一場存儲革命也已開啓。以杉巖數據爲表明的創新型存儲廠商,正經過不斷深耕對象存儲領域,幫助企業構建更加智慧的IT基礎設施,推進傳統存儲朝着更高效、更集約、更易用的方向全面演進。