hadoop集羣 應用例子

例子博客

https://blog.csdn.net/huhui_cs/article/details/9907951

http://dbaplus.cn/news-21-1277-1.html

 

一 搭建好了集羣環境以後，首先咱們先跑一下例子。

能夠時刻關注http://172.17.0.2:50070/explorer.html信息

在ubuntu1 中建立三個文件

a.txt內容爲

this is first file
one
two
three
four

b.txt

this is second file
aa
bb
cc
dd
ee
ff

c.txt

this is third file
11
22
33
44
55
one
two
aa
bb

在hdfs建立input目錄，而且將三個文件上傳。

root@ubuntu1:/home/software/hadoop# bin/hdfs dfs -mkdir /input
root@ubuntu1:/home/software/hadoop# vim a.txt
root@ubuntu1:/home/software/hadoop# vim b.txt
root@ubuntu1:/home/software/hadoop# vim c.txt
root@ubuntu1:/home/software/hadoop# 
root@ubuntu1:/home/software/hadoop# 
root@ubuntu1:/home/software/hadoop# 
root@ubuntu1:/home/software/hadoop# 
root@ubuntu1:/home/software/hadoop# bin/hdfs dfs -put  /input
LICENSE.txt  README.txt   b.txt        c.txt        etc/         lib/         logs/        share/       
NOTICE.txt   a.txt        bin/         data/        include/     libexec/     sbin/        
root@ubuntu1:/home/software/hadoop# bin/hdfs dfs -put a.txt b.txt c.txt /input
root@ubuntu1:/home/software/hadoop# bin/hdfs dfs -ls /input
Found 3 items
-rw-r--r--   3 root supergroup         38 2018-05-26 10:33 /input/a.txt
-rw-r--r--   3 root supergroup         38 2018-05-26 10:33 /input/b.txt
-rw-r--r--   3 root supergroup         48 2018-05-26 10:33 /input/c.txt

接下來查找三個文件裏的單詞

root@ubuntu1:/home/software/hadoop# bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.1.jar grep /input /output '[a-z]'

***********************************************************************************************************************

注意：這裏有可能會卡在INFO mapreduce.Job: Running job: job_1532339328403_0003 ，

在http://172.17.0.2:8088/cluster/apps/ACCEPTED能夠看到任務處於ACCEPTED狀態，可是就不執行。

此時須要修改/etc/hosts文件

添加下面的內容  前面是ip  後面是主機名

172.17.0.2      ubuntu1
172.17.0.3      ubuntu2
172.17.0.4      ubuntu3

***********************************************************************************************************************

 

查看結果

root@ubuntu1:/home/software/hadoop# bin/hdfs dfs -get /output output
root@ubuntu1:/home/software/hadoop# cat output/*