Hadoop 學習研究(四)：MapReduce shuffle過程剖詳解及參數配置調優

MapReduce簡介      在Hadoop  MapReduce中，框架會確保reduce收到的輸入數據是根據key排序過的。數據從Mapper輸出到Reducer接收，是一個很複雜的過程，框架處理了全部問題，並提供了不少配置項及擴展點。一個MapReduce的大體數據流以下圖：java   更詳細的MapReduce介紹參考Hadoop MapReduce技術內幕算法 Mapper的輸出排

>>阅读原文<<