MapReduce 的 shuffle 機制

由於 MapReduce 確保每個 reducer 的輸入都是按鍵排序的，因此在 map 處理完數據之後傳給 reducer 的這個過程中需要進行一系列操作，這個操作過程就是 shuffle。在《hadoop權威指南》中指出，shuffle 是 MapReduce 的 「心臟」，瞭解 shuffle 工作機制有助於我們優化 MapReduce 程序，接下來我們就來看看它的運行機制。 shuffle

>>阅读原文<<