Hadoop tutorial - 3 Hello MapReduce- 2015-3-30

測試HDFS

上傳文件到hdfs hadoop分佈式文件系統

hadoop fs -put /opt/jdk.gz hdfs://master:9000/jdk

 

5/22/2017------------------------

17/05/21 22:55:06 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
put: Cannot create file/jdk._COPYING_. Name node is in safe mode.
忽略第一行錯誤，看第二行，是因爲系統空間不足

df -hl命令查看系統空間使用狀況

刪除一些文件後，正常執行上傳文件

5/22/2017------------------------

 

下載到linux文件系統

hadoop fs -get hdfs://master:9000/jdk /opt/jdk2

 

查看文件列表

hadoop fs -ls

 

例子-wordcount

上傳包含各類單詞的word文件到hdfs，而後執行如下命令，能夠獲得結果文件word-out

 hadoop jar hadoop-mapreduce-examples-2.6.0.jar wordcount hdfs://master:9000/word  hdfs://master:9000/word-out

默認在hdfs文件系統底下，因此也能夠簡寫成如下

 hadoop jar hadoop-mapreduce-examples-2.6.0.jar wordcount /word  word-out-2