Alluxio 在京東Ad Hoc平臺的應用--對JDPresto的加速

京東adhoc平臺自2017年開始使用alluxio,目前已部署超過500個物理節點,每天加載超過70T的數據,alluxio爲adhoc平臺部分Presto應用帶來了10X的性能提升和穩定的亞秒級查詢體驗;基於alluxio實現獨立的shuffle service服務,根據任務級別和任務類型(Spark,MR)決定shuffle數據存儲等級(RAM,SSD,HDD) 張芒,京東大數據平臺計算引擎
相關文章
相關標籤/搜索