Spark：shuffle過程詳解

spark的shuffle有幾種方式： 什麼是shuffle Shuffle 過程本質上都是將 Map 端得到的數據使用分區器進行劃分，並將數據發送給對應的 Reducer 的過程。web 前一個stage的ShuffleMapTask進行shuffle write，把數據存儲在blockManager上面，而且把數據元信息上報到dirver的mapOutTarck組件中，下一個stage根據數據

>>阅读原文<<