Hadoop集羣搭建-05安裝配置YARN

Hadoop集羣搭建-04安裝配置HDFS 

Hadoop集羣搭建-03編譯安裝hadoop

Hadoop集羣搭建-02安裝配置Zookeeper

Hadoop集羣搭建-01前期準備

先保證集羣5臺虛擬機,

	nn1	nn2	s1	s2	s3
hadoop	是	是	是	是	是
zookeeper	是	是	是
namenode	是	是
jouralnode	是	是
datanode			是	是	是

1.而後啓動yarn在nn1機器上：

[hadoop@nn1 hadoop]$ start-yarn.sh

而後查看各節點信息

2.配置yarn的HA高可用

高可用就是好幾臺機器，一臺忽然掛掉了，其餘機器就補上去，剛剛只啓動了nn1做爲yarn服務器，只有一臺，因此這裏要在nn2也開一臺，來作簡單的高可用

###############在nn2控制檯操做####################
[hadoop@nn2 ~]$ yarn-daemon.sh start resourcemanager

如圖查看jps

這裏相比第一張圖，在nn2多了一個resourceManager

##########查看狀態############
[hadoop@nn1 hadoop_base_op]$ yarn rmadmin -getServiceState rm1
active
[hadoop@nn1 hadoop_base_op]$ yarn rmadmin -getServiceState rm2
standby

打開網頁查看http://192.168.10.6:8088/cluster

出現hadoop頁面就是成功了，這時候由於nn1是active狀態，因此你輸入http://192.168.10.7:8088/cluster的話，或自動跳轉到active機器，也就是自動跳轉到nn1的ip上。

啓動成功

來，跑個任務試試

用這個集羣進行簡單的wordcount任務

建立兩個文件

vim abc1
aa bbb abc
aa aa 
aa bb
aa cc aa

vim abc2
張三 張 三
張
三 張

 把這兩個文件上傳到hadoop的hdfs上

[hadoop@nn1 ~]$ hadoop fs -mkdir -p /user/hadoop/abc/input
[hadoop@nn1 ~]$ hadoop fs -put ./abc* /user/hadoop/abc/input

查看網頁端：

扔到MR裏執行下

[hadoop@nn1 ~]$ hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /user/hadoop/abc/input /user/hadoop/abc/output

查看網頁端的狀態展現：

而後咱們去hadoop那裏查看結果文件

[hadoop@nn1 ~]$ hadoop fs -cat /user/hadoop/abc/output/part-r-00000

大功告成！！！