關於hadoop 的shuffle 過程理解（面試題系列~~~）

文章目錄 map 端的shuffle 過程 寫入磁盤 分區&排序 合併階段 reduce 端的shuffle 過程 複製階段 合併階段 MapReduce 確保每個reducer 的輸入都是按鍵進行排序的。系統執行排序，將map 輸出作爲輸入傳給reducer 的過程稱爲shuffle。 map 端的shuffle 過程 寫入磁盤 map 端會先將輸出寫入到內存緩衝區，當內存緩衝區到達指定的閾值時

>>阅读原文<<