圖解Shuffle

MapReduce需要確保每個reducer的輸入都是按鍵（key）排序的，而系統執行排序，將map輸出作爲輸入傳給reducer的過程就是shuffle。 但是在某些描述上面，它只代表reduce任務獲取map輸出的這個部分。 而shuffle是mapReduce的核心，主要工作是從Map結束階段到Reduce階段，可以分爲Map端的Shuffle和Reduce端的Shuffle。 1 Map端

>>阅读原文<<