理解MapReduce計算構架

用Python編寫WordCount程序任務

程序	WordCount
輸入	一個包含大量單詞的文本文件
輸出	文件中每一個單詞及其出現次數（頻數），並按照單詞字母順序排序，每一個單詞和其頻數佔一行，單詞和頻數之間有間隔

一、編寫map函數，reduce函數

      （1）首先建立一個文件夾

　　　　mkdir wc

       （2）編寫兩個mapper函數

　　　　

 

二、將其權限做出相應修改

　　

三、本機上測試運行代碼

　　

四、放到HDFS上運行，下載並上傳文件到hdfs上

　　

五、用Hadoop Streaming命令提交任務