從0開始部署hadoop HA集羣，使用zk實現自動容災

1.停掉全部hadoop進程

2刪除全部節點的日誌和本地數據
$xcall.sh "rm -rf /soft/hadoop/logs/"//這個操做實現刪除全部節點的數據
$xcall.sh "rm -rf /home/centos/hadoop/"

3.改換hadoop的符號鏈接爲ha

4.登陸每臺JN節點主機，啓動JN(journalNode)節點
[s201-s203
$>hadoop-daemon.sh start journalnode;

5.登陸其中一個NN節點，格式化文件系統（s200）
$>hadoop namenode -format

6.複製s200目錄下面nn的元數據到s206
$>scp -r ~/hadoop/* centos@s206:/home/centos/hadoop

7.在未格式化的NN（s206）節點上作standby引導
7.1)須要保證201的NN節點啓動
$>hadoop-daemon.sh start namenode
7.2)登陸s206上作節點引導
$>hdfs namenode -bootstrapStandby

7.3登陸到s200將s200的edit日誌初始化到JN節點
$>hdfs namenode -initializeSharedEdits

8.啓動s206的名稱節點和數據節點
$>hadoop-daemons.sh start datanode;
登陸到s206啓動namenode
$>hadoop-daemon.sh start namenode
9.查看webUI

10.自動容災
10.1）介紹
自動容災要引入兩個組件，zk quarum+zk容災控制器（ZKFC）
運行NN主機還要運行ZKFC進程，主要負責如下事務：
1）健康監控
2）session管理
3）選舉
10.2部署自動容災
a.中止全部進程：stop-all.sh
b.配置hdfs-site.sh,啓用自動容災
[hdfs-site.xml]

dfs.ha.automatic-failover.enabled
true

c.配置 core-site.xml [core-site.xml],指定zk的鏈接地址

ha.zookeeper.quorum
zk1.example.com:2181,zk2.example.com:2181,zk3.example.com:2181

d.分發兩個文件到全部節點

11.在登陸其中的一臺NN（s200）,在zk中初始化HA狀態，而後使用如下命令
$>hdfs zkfc -formatZK

12.啓動hdfs相關進程 start-dfs.sh 13.測試自動容災(s200是活躍節點) kill-9