Hadoop--MapReduce10--工作機制

以WordCount爲例,研究一下MapReduce的內部工作機制。 統計某個輸入目錄下所有文件中每個單詞以及出現的次數。 map階段:讀取數據每一行,切分數據,單詞作爲key,次數1作爲value,輸出到context中。 reduce階段:接受來自map階段的輸出,按照相同key來聚合分組,每一組執行一次reduce方法,累加,將結果寫入到context中。 最終MapReduce運行過程如下
相關文章
相關標籤/搜索