Spark Shuffle 解析

一、Spark Shuffle 介紹 Shuffle 的中文解釋爲「洗牌操作」，可以理解成將集羣中所有節點上的數據進行重新整合分類的過程。其思想來源於Hadoop 的 MapReduce，Shuffle 是連接 map 階段和 reduce 階段的橋樑。由於分佈式計算中，每個階段的各個計算節點只處理任務的一部分數據，若下一個階段需要依賴前面階段的所有計算結果時，則需要對前面階段的所有計算結果進行重

>>阅读原文<<