MapReduce執行jar練習

 

一、用程序生成輸入文件1.txt和2.txt

生成程序源碼以下：

http://www.javashuo.com/article/p-dnacfxjf-mk.html

 

2.  上傳文件到hdfs文件系統

建立輸入文件目錄

hdfs dfs -mkdir -p /hadoop/input

 

上傳文件到輸入目錄

hdfs dfs -put 1.txt /hadoop/input/

hdfs dfs -put 2.txt /hadoop/input/

 

以下圖：

 

 

3.  打包並上傳MapReduce程序jar

源碼以下：

http://www.javashuo.com/article/p-uwqbabwa-mm.html

 

打包爲hadoop.jar並上傳到集羣上，執行命令

hadoop jar hadoop.jar /hadoop/input/ /hadoop/output

 

以下圖：

 

 

 

查看輸出結果，以下圖：

 

 

查看輸出內容：

hdfs dfs -cat /hadoop/output/part-r-00000

 輸出結果以下：

2000    9997
2001    9993
2002    9997
2003    9994
2004    9995
2005    9983
2006    9978
2007    9990
2008    9968
2009    9987
2010    9996
2011    9986
2012    9997
2013    9987
2014    9999
2015    9997
2016    9995
2017    9998

 

輸出結果正確!

 

 

 

 

.