MapReducec執行過程分幾個階段

宏觀上MapReduce可以分爲以下三個階段,如下圖1所示。 階段1：input/map/partition/sort/spill 階段2：mapper端merge 階段3：reducer端merge/reduce/output       1、split階段： 此階段，每個輸入文件被分片輸入到map。如一個文件有200M，默認會被分成2片，因爲每片的默認最大值和每塊的默認值128M相同。 如果輸

>>阅读原文<<