shuffle流程理解

 shuffle流程理解   什麼是shuffle流程？   MapReduce確保每個reducer的輸入都是按鍵排序的。系統執行排序，將map輸出作爲輸入傳給reducer的過程稱爲shuffle.   簡單來說就是：從map輸出開始，到reduce輸入之前這個階段。   如下圖所示：   如圖所示大致分爲5個階段： 1.Collect階段 2.Spill階段 3.Merge階段 （屬於Map

>>阅读原文<<