MapReduce shuffle過程詳解

MapReduce簡介 在Hadoop MapReduce中，框架會確保reduce收到的輸入數據是根據key排序過的。數據從Mapper輸出到Reducer接收，是一個很複雜的過程，框架處理了所有問題，並提供了很多配置項及擴展點。一個MapReduce的大致數據流如下圖： Mapper的輸出排序、然後傳送到Reducer的過程，稱爲shuffle。本文詳細地解析shuffle過程，深入理解這個過

>>阅读原文<<