爲數據計算提供強力引擎,阿里雲文件存儲HDFS v1.0公測發佈

在2019年3月的北京雲棲峯會上,阿里雲正式推出全球首個雲原生HDFS存儲服務—文件存儲HDFS,爲數據分析業務在雲上提供可線性擴展的吞吐能力和免運維的快速彈性伸縮能力,下降用戶TCO。阿里雲文件存儲HDFS的發佈真正解決了HDFS文件系統不適應雲上場景的缺陷問題,用戶無須花費精力維護和優化底層存儲。
雲時代,經過藉助虛擬化技術,大數據分析的計算框架在雲上逐漸實現了快速部署和彈性伸縮。可是做爲數據底座的HDFS文件系統,它在設計之初並無考慮到上雲場景。其數據的擴縮容、故障硬件排除都依賴大量手工運維,所以其服務質量難以保證。在隨着其餘計算引擎一塊兒彈性部署時,HDFS會成爲整個計算框架的短板,限制了業務的總體彈性伸縮能力,增長了規劃和運維難度。後端

爲響應用戶在雲上使用HDFS的訴求,文件存儲HDFS應運而生。產品設計方面,得益於文件存儲HDFS兼容標準Hadoop文件接口,基於HDFS進行開發的分析服務無須進行改造便可直接鏈接文件存儲HDFS進行數據分析,可做爲serverless計算架構的後端數據引擎。用戶無須花費精力維護和優化底層存儲,聚焦在計算和業務自己。
用戶場景方面,文件存儲HDFS的多租戶和權限控制能力能夠有效支撐企業內部多業務數據管理的場景。用戶能夠將生產集羣的數據直接寫入文件存儲HDFS,也能夠將存儲在自建HDFS、阿里雲OSS、文件存儲NAS中的數據導入到文件存儲HDFS,再利用Spark/Mapreduce/Flink/Hive/Tensoflow等不一樣的分析框架對文件存儲HDFS上的數據進行處理,處理結果能夠按需輸出到不一樣的系統中。普遍用於實時統計與分析、離線用戶畫像、實時分析、機器學習等業務場景中。架構

技術能力方面,做爲聚焦大數據分析場景的雲存儲產品,文件存儲HDFS針對計算中最關注的吞吐性能進行了軟硬一體的優化,提供遠超自建HDFS的吞吐能力。在模擬離線分析場景的Terasort測試中,在使用同等數量的CPU和內存的狀況下,用文件存儲HDFS替代HDFS可使總體的分析性能提高一倍。框架

瞭解更多關於文件存儲HDFS的產品信息和申請公測資格,歡迎訪問https://www.aliyun.com/product/alidfsless

 



本文做者:luoming0439運維

原文連接機器學習

本文爲雲棲社區原創內容,未經容許不得轉載。oop

相關文章
相關標籤/搜索