Spark Shuffle原理、Shuffle操做問題解決和參數調優

摘要：    1 shuffle原理html 　　1.1 mapreduce的shuffle原理網絡 　　　　1.1.1 map task端操做數據結構 　　　　1.1.2 reduce task端操做分佈式 　　 1.2 spark如今的SortShuffleManageride     2 Shuffle操做問題解決函數 　　 2.1 數據傾斜原理post        2.2 數據傾斜問題發

>>阅读原文<<