摘要: 10月27日下午,2018中國計算機大會上舉辦了主題「新型硬件環境下大數據處理技術」的技術論壇,一塊兒探討新型硬件帶來的變化。論壇上,阿里雲高級總監馬濤針對超大規模超高性能分佈式塊存儲系統ESSD進行了報告分析。算法
新型硬件(如NVRAM、RDMA、GPU/TPU等)及其構建的異構複雜環境,與既有硬件環境的巨大差別,致使傳統的算法、數據結構甚至是涉及原則和經驗法則等難覺得繼,對計算智能與大數據處理帶來新的挑戰和機遇。網絡
10月27日下午,2018中國計算機大會上舉辦了主題「新型硬件環境下大數據處理技術」的技術論壇,一塊兒探討新型硬件帶來的變化。論壇上,阿里雲高級總監馬濤針對超大規模超高性能分佈式塊存儲系統ESSD進行了報告分析。
數據結構
專家簡介:架構
馬濤,阿里雲高級總監,在IBM、ORACLE有多年的操做系統以及企業級存儲的研發經驗,2010年加入阿里巴巴集團淘寶核心系統部,負責淘寶底層操做系統的設計和研發工做。2014年轉入阿里雲,負責阿里雲彈性計算存儲相關產品的研發工做。分佈式
在報告中,馬濤指出面對企業上雲實現數字化轉型以及新硬件架構層出不窮,現有存儲產品已沒法知足業務的需求,亟需新一代的超大規模、超高性能分佈式快存儲(ESSD)提高系統的業務能力,目前ESSD的性能已將單塊雲盤性能提高到100萬IOPS、100微秒延遲、4000MB吞吐量的全新高度。
性能
隨後,馬濤介紹了ESSD系統的設計和實現,展現了阿里雲在軟硬一體協同優化方面的探索,基於NVMe SDD和3D Xpoint新一代存儲介質,採用了全用戶態協議棧,經過用戶態Polling模式驅動程序架構如SPDK、DPDK等,讓ESSD達到釋放數百萬IOPS的能力,完成計算機體系結構的全面調優,知足超低延遲、超高性能和超大規模的設計要求。
大數據
最後,馬濤對塊存儲的將來發展提出了一些新的思考和方向,包括如何應對數據中心內部的網絡問題、如何解決高性能存儲的資源隔離和軟硬一體化、REDIS的教訓、傳統塊存儲產品如何使用、如何和CLOUD NATIVE更好的配合等。優化