MapReduce的shuffle過程詳解（分片、分區、合併、歸併。。。）

shuffle過程 shuffle概念 shuffle的本意是洗牌、混洗的意思，把一組有規則的數據儘可能打亂成無規則的數據。而在MapReduce中，shuffle更像是洗牌的逆過程，指的是將map端的無規則輸出按指定的規則「打亂」成具備必定規則的數據，以便reduce端接收處理。其在MapReduce中所處的工做階段是map輸出後到reduce接收前，具體能夠分爲map端和reduce端先後兩個

>>阅读原文<<