Hadoop2.8.0<Mapreduce模型+shuffle過程>

1.Mapreduce模型 map階段: 輸入數據格式的解析:inputformat 輸入數據的處理:mapper 數組分組:partitioner map階段有一定量的maptask組成,其實就是多線程在處理我們的任務,多個task分佈在物理上的多臺機器上執行,reduce階段是由一定數量的reduceTask組成的 reduce階段 從map階段的輸出結果做一個數據拷貝,把對應的數據拷貝大re
相關文章
相關標籤/搜索