Alluxio文件系統在搜狗的實踐Alluxio內存文件系統在搜狗的實踐

本次分享主要包括了Spark shuffle 基於Alluxio的優化,以及基於Alluxio對於臨時表的性能改進:1.在搜狗大量的數據分析, 知識圖譜的數據製作使用Spark/SparkSQL來進行並行計算,大部分由於Spark On Yarn存在各類問題導致業務SLA水平僅爲96%,結合Alluxio內存文件系統,我們將Spark業務的穩定性水平SLA提升到99.22%,廣泛應用於數據分析以及
相關文章
相關標籤/搜索