華爲公司近日宣佈將利用自家FusionStorage產品與Alluxio開源軟件實現大數據分析加速;此舉相信可以爲使人昏昏欲睡的緩慢數據分析流程帶來一股新風。緩存
Alluxio此前曾名爲Tachyon Nexus,是一家由Andreessen Horowitz資助的初創企業。分佈式
FusionStorage 則屬於華爲公司旗下的分佈式軟件定義存儲系統。其最新FusionStorage 6.0支持分佈式塊、文件與對象存儲,同時可對數據進行分類、加密與重複數據刪除。大數據
Alluxio公司的軟件產品是一套之內存爲中心的虛擬分佈式存儲系統。其功能至關於爲HDFS節點集合等遠程存儲系統提供一套本地緩存。其基於本地節點集羣運行,而各本地節點則供運行有大數據分析與查詢任務的計算節點進行訪問。加密
該軟件提供:3d
· 配合自動數據放置的分層式存儲機制(包括內存、閃存與磁盤)。對象
· 配合透明化命名機制的單一命名空間。blog
· 可集成原生S三、谷歌Cloud Storage、OpenStack Swift、阿里巴巴OSS、微軟Azure Blob等存儲方案。接口
· Fuse Connector,採用鍵-值接口。內存
· 一條命令便可完成集羣部署。部署
· 具有指標報告功能。
Alluxio支持多種不一樣底層(遠程)存儲系統,具體包括HDFS、Gluster、S三、OpenStack、GCS、NFS、OrangeFS、IBm Spectrum Scake、Ceph、Isilon等等。
百度公司在Alluxio的幫助下將Spark查詢速度提高了30倍。本來須要15分鐘才能完成的批量查詢現在不到30秒便可搞定,並且一套1000用戶Alluxio集羣可以提供超過50 TB內存空間。
巴克萊銀行亦在運行查詢的計算節點與Teradata數據存儲庫之間採用Alluxio軟件,從而將本來須要數小時的Spark任務加速至僅須要數秒。
聽起來確實頗有搞頭。咱們認爲華爲公司及其物聯網/雲戰略確實可以與Alluxio實現良好配合。感興趣的朋友亦可點擊此處與此處分別查看Alluxio項目及其演示材料。