Hadoop1.2.1 的 「Hello world!」

下圖是大概步驟:瀏覽器

 

下面是詳細步驟,但個人代碼跟上面有點不同,但都是一個道理:oop

第一個程序測試 wordcount測試

先建立目錄 xml

hadoop fs -mkdir /wcblog

hadoop fs -mkdir /wc/input排序

把要統計的文件放入目錄hadoop

hadoop fs  -put  /opt/modules/hadoop-1.2.1 /conf/*.xml  /wc/inputget

運行程序input

hadoop jar hadoop-examples-1.2.1.jar wordcount /wc/input /wc/outputast

 

而後可看到運行狀況。

 

而後可經過瀏覽器查看相關信息

http://hadoop-master.dragon.org:50030的Running Jobs(運行完後看

Completed Jobs)

 

http://hadoop-master.dragon.org:50070的Browse the filesystem查看文件信息,固然也可經過命令查看,

如hadoop fs -text /wc/output/part-r-00000

 

下圖是圖解:

簡單說下原理,就是把多個文件分別統計,而後排序併合在一塊兒,而後再統計。

 

附:

相關文章
相關標籤/搜索