Hadoop---shuffle

MapReduce中Shuffle概念 MapReduce中Map階段處理數據是如何傳遞給Reduce端，這個過程是MapReduce框架中最關鍵的一個流程這個流程就是Shuffle， shuffle：洗牌，發牌。在MapReduce中shuffle的和新機制是：數據分區，排序，緩存 具體來說就是將MapTask輸入的處理結果數據，分發給Reduce Task並在分發的過程中面對數據按key進行分

>>阅读原文<<