MapReduce的Shuffle和排序

Shuffle MapReduce確保每個Reducer的輸入都是按鍵排序的。 系統執行排序的過程，即，將map輸出作爲輸入傳給Reducer的過程稱爲Shuffle。 瞭解Shuffle的過程，有助於我們理解MapReduce的工作機制。 Map端 map函數開始產生輸出時，並不是簡單的將它寫到磁盤，而是利用緩衝的方式寫到內存，並出於效率考慮，進行排序。 1）每個輸入分片由一個Map任務處理。(

>>阅读原文<<