Spark 的Shuffle過程詳解

一、Shuffle的作用是什麼？ Shuffle的中文解釋爲「洗牌操作」，可以理解成將集羣中所有節點上的數據進行重新整合分類的過程。其思想來源於hadoop的mapReduce,Shuffle是連接map階段和reduce階段的橋樑。由於分佈式計算中，每個階段的各個計算節點只處理任務的一部分數據，若下一個階段需要依賴前面階段的所有計算結果時，則需要對前面階段的所有計算結果進行重新整合和分類，這就需

>>阅读原文<<