Hadoop-----WordCount

一、基本形式 如上圖所示,將HDFS上的文本作爲輸入,在map函數中完成對單詞的拆分並輸出爲中間結果,並在reduce函數中完成對每個單詞的詞頻計數。 文本作爲MapReduce的輸入,MapReduce會將文本進行切片處理並將行號作爲輸入鍵值對的鍵,文本內容作爲輸出的值,經過map函數的處理,輸出中間結果爲<word,1>的形式。MapReduce會默認按鍵分發給reduce函數,並在reduc
相關文章
相關標籤/搜索