Spark：shuffle過程詳解

spark的shuffle有幾種方式： 什麼是shuffle Shuffle 過程本質上都是將 Map 端獲得的數據使用分區器進行劃分，並將數據發送給對應的 Reducer 的過程。 前一個stage的ShuffleMapTask進行shuffle write，把數據存儲在blockManager上面，並且把數據元信息上報到dirver的mapOutTarck組件中，下一個stage根據數據位置源

>>阅读原文<<