No.4大數據入門 | MR實踐:WordCount之本地測試與集羣運行

上週我們搭建好了hadoop環境,接下來我們進行一些MapReduce實踐。 本次測試是對一篇英文文章進行單詞計數,統計每一個單詞出現的總次數並輸出結果。 注:圖片來源:八斗學院 思路如上圖: →input:文章 →將文章的每一行按照空格切分爲列表.strip().split(’ ') →讀取列表元素(單詞) →對讀取到的每一個單詞進行標記word1 1 →排序相同的單詞 →統計每一個單詞的總數並
相關文章
相關標籤/搜索