Spark（十）Spark Shuffle原理及參數調優

目錄 1 Shuffle原理 1.1 MapReduce的shuffle原理 1.1.1 map task端操作 1.1.2 reduce task端操作 1.2 Spark現在的SortShuffleManager 1.2.1 SortShuffleManager運行原理 1.2.2 普通運行機制 1.2.3 bypass機制 2 Shuffle操作問題解決 　　2.1 數據傾斜原理      

>>阅读原文<<