理解MapReduce計算構架

 

 

 

 

 

 

用Python編寫WordCount程序任務

程序	WordCount
輸入	一個包含大量單詞的文本文件
輸出	文件中每一個單詞及其出現次數（頻數），並按照單詞字母順序排序，每一個單詞和其頻數佔一行，單詞和頻數之間有間隔

1. 編寫map函數，reduce函數

首先先建立文件

而後編寫兩個函數

 

 

 

 

1. 將其權限做出相應修改

 

1. 本機上測試運行代碼

 

1. 放到HDFS上運行

 

1. 下載並上傳文件到hdfs上

 

1. 用Hadoop Streaming命令提交任務

先找到Streaming的Jar包

 

配置默認環境變量

 

 讓配置生效並測試

編寫run.sh腳本程序

結果