阿里雲Spark Shuffle的優化

轉自：大數據技術與架構 本次分享者：辰石，來自阿里巴巴計算平臺事業部EMR團隊技術專家，目前從事大數據存儲以及Spark相關方面的工作。 Spark Shuffle介紹 Smart Shuffle設計 性能分析 Spark Shuffle流程 Spark 0.8及以前 Hash Based Shuffle  Spark 0.8.1 爲Hash Based Shuffle引入File Consoli

>>阅读原文<<