杉巖海量圖片分佈式存儲解決方案

隨着互聯網、雲計算及大數據等信息技術的發展,愈來愈多的應用依賴於對海量數據的存儲和處理,如智能監控、電子商務、地理信息等,這些應用都須要對海量圖片的存儲和檢索。因爲圖片大可能是小文件(80%大小在數MB之內),以GFS、HDFS爲表明的適用於流式訪問大文件的分佈式存儲系統,若直接用來存儲圖片,因爲元數據膨脹,在擴展性和性能方面均存在嚴重問題。服務器

爲了解決HDFS在小文件存儲方面的問題,一般的作法是先將不少小文件合併成一個大文件再保存到HDFS,同時爲這些小文件創建索引,以便進行快速存取。典型技術包括Hadoop自帶的Archive、SequenceFile,但均須要用戶本身編寫程序,實現小文件的合併。爲了實現小文件合併對用戶的透明,需從系統層面解決HDFS小文件問題。論文針對具體應用場景進行了探索,但不具備通用性。架構

SandStone MOS海量圖片解決方案併發

杉巖海量圖片分佈式存儲解決方案

對於海量圖片數據的存儲問題,杉巖海量對象存儲(SandStone MOS)解決方案採用去中心化分佈式架構,同時利用軟件定義的方式實現了單一名字空間條件下數百PB級規模的容量擴展,業務能夠隨時隨地訪問而不受數據存儲位置的限制。分佈式

在提高海量小文件訪問性能方面,SandStone MOS利用哈希計算實現了數億級文件的高效訪問。針對文件檢索困難,SandStone MOS支持標籤功能,文件存儲時會自動設置標籤,從而更好地與業務結合,知足高效檢索。ide

此外,SandStone MOS在易用性與可維護性方面也超越了同級別產品,其採用「x86通用服務器+存儲軟件」的分佈式解耦架構,將底層存儲空間與上層業務邏輯空間進行分離,軟硬件的升級不會影響到整個系統的正常運行。oop

即便系統有再多應用更新,也不會影響存儲空間的使用。值得一提的是,SandStone MOS獨創的分佈式存儲數據盤漫遊功能,能夠幫助企業用戶漸進式的進行老舊硬件設備更換,不影響業務的正常運行。性能

在對象存儲領域的專一與持續創新,換來的是行業的高度承認。去年8月,杉巖數據成爲首家經過Intel中國雲計算創新中心測試併發布報告的軟件定義存儲廠商。測試

與此同時,杉巖數據做爲國家信息化標準委員會雲計算標準工做組成員單位及中國開源雲聯盟理事單位,前後參與了分佈式存儲國家標準的制定工做及Ceph行業白皮書的編寫工做。大數據

現在,對象存儲正煥發出更大的生命力,一場存儲革命也已開啓。以杉巖數據爲表明的創新型存儲廠商,正經過不斷深耕對象存儲領域,幫助企業構建更加智慧的IT基礎設施,推進傳統存儲朝着更高效、更集約、更易用的方向全面演進。雲計算

相關文章
相關標籤/搜索