Spark 的Shuffle過程詳解

1、Shuffle的做用是什麼？ Shuffle的中文解釋爲「洗牌操做」，能夠理解成將集羣中全部節點上的數據進行從新整合分類的過程。其思想來源於hadoop的mapReduce,Shuffle是鏈接map階段和reduce階段的橋樑。因爲分佈式計算中，每一個階段的各個計算節點只處理任務的一部分數據，若下一個階段須要依賴前面階段的全部計算結果時，則須要對前面階段的全部計算結果進行從新整合和分類，這就

>>阅读原文<<