MapReduce 的 Shuffle 機制

1.1、概述 1、MapReduce 中，map 階段處理的數據如何傳遞給 reduce 階段，是 MapReduce 框架中最關鍵的一個流程，這個流程就叫 Shuffle； 2、Shuffle: 數據混洗 ——（核心機制：數據分區partitioner，排序soft，合併combiner，緩存）； 3、具體來說：就是將 maptask 輸出的處理結果數據，分發給 reducetask，並在分發的

>>阅读原文<<