運行MapReduce任務

1：運行MapReduce任務

1：原始數據準備

統計用戶的登陸次數：

源數據login_log.txt以下：

7whygb5m@linshiyouxiang.net

nuahvuhuoia@qq.com

uashkufawuk@163.com

wafwqfqw@gmail.com

iuhukawhfuk@sina.com

wfkwbfkuw@tom.com

iuqwhfuihuqiw@yahoo.com  

hiuwqhuiryquiw545@yahoo.com

uiwqyiuyr7qwrqa@sohu.com …

2：應用程序準備

集羣目錄：

$HADOOP_HOME/share/hadoop/mapreduce/中找到程序包：

hadoop-mapreduce-examples-2.6.4.jar

該程序包提供了一些測試模塊：

wordcount   //對輸入文件中的單詞進行詞頻統計

pi   //估算圓周率pi的值

wordmean  //計算輸入文件中單詞的平均長度

 

3：提交任務指令解析

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jar

wordcount  /user/root/login_log.txt  /user/root/output

說明：

wordcount  //指定程序包的主類

/user/root/login_log.txt   //hdfs上須要計算的源文件

/user/root/output   //hdfs上輸出文件的目錄

 

4：查看輸出結果

在/user/root/output目錄下有兩個文件：

_SUCCESS  //這是標識文件，表示這個任務執行完成

part-r-00000   //完成任務後產生的結果文件

 

輸出前5行：

hadoop fs -cat /user/root/output/part-r-00000 | head -n 5

5：查看集羣的資源管理狀況

https://master:18088

查看計算資源的使用狀況

查看mapreduce的任務列表

查看具體做業的詳細信息