MapReduce Shuffle詳解2

shuffle過程包括Map端和Reduce端, 爲了更加形象理解,我們先看一組圖: Map端包括分區,排序,合併 Reduce端包括 複製,歸併 reduce 在Map端的shuffle過程是對Map的結果進行分區（partition）、排序（sort）和分割（spill），然後將屬於同一個劃分的輸出合併在一起（merge）並寫在硬盤上，同時按照不同的劃分將結果發送給對應的Reduce（Map輸

>>阅读原文<<