shuffle流程理解

 shuffle流程理解   什麼是shuffle流程?   MapReduce確保每個reducer的輸入都是按鍵排序的。系統執行排序,將map輸出作爲輸入傳給reducer的過程稱爲shuffle.   簡單來說就是:從map輸出開始,到reduce輸入之前這個階段。   如下圖所示:   如圖所示大致分爲5個階段: 1.Collect階段 2.Spill階段 3.Merge階段 (屬於Map
相關文章
相關標籤/搜索