MapReduce shuffle過程剖析及調優

更新記錄 2017-07-18 初稿 MapReduce簡介 在Hadoop MapReduce中，框架會確保reduce收到的輸入數據是根據key排序過的。數據從Mapper輸出到Reducer接收，是一個很複雜的過程，框架處理了全部問題，並提供了不少配置項及擴展點。一個MapReduce的大體數據流以下圖：html 更詳細的MapReduce介紹參考Hadoop MapReduce原理與實例。

>>阅读原文<<