Spark源碼解讀(6)——Shuffle過程

Shuffle應該說是Spark Core中較爲複雜的部分，本文主要從一個最簡單的WordCount例子出發分析Spark的Shuffle過程：java 1，概述node sc.parallelize(1 to 1000).map(i=>(i%5,1)).reduceByKey(_+_).collect() 計算過程當中會分紅兩個Stage，以下圖所示：shell 每一個Stage由多個Task組

>>阅读原文<<