阿里雲Spark Shuffle的優化

Spark Shuffle介紹 Smart Shuffle設計 性能分析 Spark Shuffle流程 Spark 0.8及以前 Hash Based Shuffle  Spark 0.8.1 爲Hash Based Shuffle引入File Consolidation機制  Spark 0.9 引入ExternalAppendOnlyMap  Spark 1.1 引入Sort Based S

>>阅读原文<<