MapReduce(五) mapreduce的shuffle機制 與 Yarn

 一、shuffle機制    1、概述 （1）MapReduce 中， map 階段處理的數據如何傳遞給 reduce 階段，是 MapReduce 框架中最關鍵的一個流程，這個流程就叫 Shuffle； （2）Shuffle: 數據混洗 ——（核心機制：數據分區，排序，緩存）； （3） 具體來說：就是將 maptask 輸出的處理結果數據，分發給 reducetask，並在分發的過程 中，

>>阅读原文<<