Hadoop 2.6.0 HA高可用集羣配置詳解（三）

Hadoop集羣的啓動

集羣啓動步驟

// 啓動zookeeper集羣（分別在slave一、slave2和slave3執行）

$ zkServer.shstart

// 啓動HDFS（在master1執行）

$ start-dfs.sh

備註：此命令分別在master1/master2節點啓動了NameNode和ZKFC，分別在slave1/slave2/slave3節點啓動了DataNode和JournalNode，以下圖所示。

// 啓動YARN（在master2執行）

$ start-yarn.sh

備註：此命令在master2節點啓動了ResourceManager，分別在slave1/slave2/slave3節點啓動了NodeManager。

// 啓動YARN的另外一個ResourceManager（在master1執行，用於容災）

$ yarn-daemon.sh start resourcemanager

// 啓動YARN的安全代理（在master2執行）

$ yarn-daemon.sh start proxyserver

備註：proxyserver充當防火牆的角色，能夠提升訪問集羣的安全性

// 啓動YARN的歷史任務服務（在master1執行）

$ mr-jobhistory-daemon.sh starthistoryserver

備註：yarn-daemon.sh start historyserver已被棄用；CDH版本彷佛有個問題，即mapred-site.xml配置的mapreduce.jobhistory.address和mapreduce.jobhistory.webapp.address參數彷佛不起做用，實際對應的端口號是10200和8188，並且部須要配置就能夠在任意節點上開啓歷史任務服務。

集羣啓動截圖

hadoop-master1開啓了NameNode、ResourceManager、HistoryServer和ZKFC，以下圖所示：

hadoop-master2開啓了NameNode、ResourceManager、ProxyServer和ZKFC，以下圖所示：

hadoop-slave一、hadoop-slave2和hadoop-slave3分別開啓了DataNode、JournalNode、NodeManager和ZooKeeper，以下圖所示：

Web UI

下圖爲http://hadoop-master1:50070，可看到NameNode爲active狀態：

下圖爲http://hadoop-master2:50070，可看到NameNode爲standby狀態：

HDFS還有一個隱藏的UI頁面http://hadoop-master1:50070/dfshealth.jsp比較好用：

下圖爲http://hadoop-master2:8088，可看到ResourceManager爲active狀態：

下圖爲http://hadoop-master1:8088，可看到ResourceManager爲standby狀態，它會自動跳轉到http://hadoop-master2:8088：

下圖爲http://hadoop-master1:19888，可查看歷史任務信息：

功能測試

// 向HDFS上傳數據

$ hadoopfs -put webcount.txt /input

// 查看HDFS上的數據

$ hadoopfs -ls /input

$ hadoopfs -cat /input/webcount.txt

// 向YARN提交MapReduce任務，該任務用於分析網站日誌文件webcount.txt統計每小時的點擊次數

$ hadoopjar mr-webcount-0.0.1-SNAPSHOT.jar com.mr.demo.WebCountDriver/input/webcount.txt /output/webcount 1 1

// 在HDFS查看結果

$ hadoopfs -ls /output/webcount

$ hadoopfs -cat /output/webcount/part-r-00000

// 經過Web UI查看任務信息和歷史任務信息

本文地址：http://www.linuxprobe.com/hadoop-high-available-3.html