MapReduce執行過程簡要總結

宏觀上MapReduce可以分爲以下三個階段,如下圖1所示。 階段1：input/map/partition/sort/spill 階段2：mapper端merge 階段3：reducer端merge/reduce/output 圖1 MapReduce執行過程 以下分別對上述三個階段詳解。首先是Mapper端的執行邏輯，主要包含以下三點，如圖2所示： 1. 將key/value/Partitio

>>阅读原文<<