Spark Shuffle過程分析：Map階段處理流程

默認配置情況下，Spark在Shuffle過程中會使用SortShuffleManager來管理Shuffle過程中需要的基本組件，以及對RDD各個Partition數據的計算。我們可以在Driver和Executor對應的SparkEnv對象創建過程中看到對應的配置，如下代碼所示： // Let the user specify short names for shuffle managers 

>>阅读原文<<