MapReduce核心流程梳理

MapReduce的大概流程: (1)maptask從目標文件中讀取數據 (2)mapper的map方法處理每一條數據,輸出到文件中 (3)reducer讀取map的結果文件,進行分組,把每一組交給reduce方法進行處理,最後輸出到指定路徑。 這是最基本的流程,有助於快速理解MapReduce的工作方式。 通過上面的幾個示例,我們要經接觸了一些更深入的細節,例如mapper的inputform中
相關文章
相關標籤/搜索