詳解MapReduce Shuffle與Spark Shuffle

1 Shuffle簡介 Shuffle的本意是洗牌、混洗的意思，把一組有規則的數據儘量打亂成無規則的數據。而在MapReduce中，Shuffle更像是洗牌的逆過程，指的是將map端的無規則輸出按指定的規則「打亂」成具有一定規則的數據，以便reduce端接收處理。或者說需要將各節點上同一類數據彙集到某一節點進行計算,把這些分佈在不同節點的數據按照一定的規則聚集到一起的過程成爲Shuffle.。其在

>>阅读原文<<