Spark Shuffle原理、Shuffle操作問題解決和參數調優

1 shuffle原理 　　1.1 mapreduce的shuffle原理 　　　　1.1.1 map task端操作 　　　　1.1.2 reduce task端操作 　　 1.2 spark現在的SortShuffleManager     2 Shuffle操作問題解決 　　 2.1 數據傾斜原理        2.2 數據傾斜問題發現與解決        2.3 數據傾斜解決方案    3

>>阅读原文<<