MapReduce的Shuffle過程

總的來說，Shuffle是Mapper和Reducer的中間步驟，它的功能是，將Mapper輸出的鍵值對按照key值重新進行切分和組合，並將key值滿足一定條件的鍵值對傳送給特定的Reducer去處理。可以簡化Reducer的工作。 Shuffle分爲Map端和Reduce端兩部分 一、Map端，如下圖： input： 輸入數據來源於block，當然map作業直接讀取的是split partiti

>>阅读原文<<