啓動Hadoop HA Hbase zookeeper spark

服務器角色

服務器	192.168.58.180	192.168.58.181	192.168.58.182	192.168.58.183
Name	CentOSMaster	Slvae1	Slave2	StandByNameNode
NameNode	Yes			Yes
DataNode		Yes	Yes	Yes
journalNode		Yes	yes	Yes
ZooKeeper	Yes	Yes		Yes
ZKFC	Yes			Yes
Spark	Yes			Yes
hbase	Yes	Yes

Slave2沒有zookeeper，因此hbase裝在183和181，不過因爲hbase.rootdir必須在hdfs上，因此估計仍是隻能搭載在180和183上。
就是不知道zk和hbase必須對應，就是說2個hbase，三個zk不知道行不。


備註：個人公鑰文件在/home/hxsyl/.ssh下不在/root/hxsyl下，經過

find / -name id_rsa

　　查找

1.
分別在每一個機器上運行命令zkServer.sh start或者在$ZOOKEEPER_HOME/bin目錄下運行./zkServer.sh start命令。而後能夠經過命令jps來查看Zookeeper啓動的進程QuorumPeerMain。 
可經過zkServer.sh status命令來查看Zookeeper狀態。正常是機器中只有一個leader，其餘的都是follow 

$ZOOKEEPER_HOME/bin/zkServer.sh start

　　slave2不要zk了

 

DN節點是命令行模式，可是ssh IP 「啓動」命令顯示成功了，可是ip裏沒進程，可是這種stop就能夠 馬丹，咋回事  只能去命令杭霞竅

2.主節點執行

hdfs zkfc -formatZK

　　注意：最後的zk是大寫，不然

6/11/30 20:31:45 FATAL tools.DFSZKFailoverController: Got a fatal error, exiting now
org.apache.hadoop.HadoopIllegalArgumentException: Bad argument: -formatzk

　　

這個必須設置自動故障切換爲true。

他會根據$HADOOP_HOME/etc/hadoop/core-site.xml文件中ha.zookeeper.quorum的值來進行初始化。


這個須要肯定開啓了自動ha切換，不然不行。
可是如今

DFSZKFailoverController並無啓動，start zkfc後才能夠，而後纔是一個active，一個standby，

3.
注意：全部操做均在Hadoop部署目錄下進行。

啓動Hadoop集羣：
Step1 :
在各個JournalNode節點上，輸入如下命令啓動journalnode服務：

$HADOOP_HOME/sbin/hadoop-daemon.sh start journalnode

或者在mster執行

$HADOOP_HOME/sbin/hadoop-daemons.sh start journalnode

注意第二種啓動方法master節點並非journalNode，須要單獨啓動，挺值得時候單獨中止

s2沒有journalNode。
4.
在[nn1]上，對其進行格式化，並啓動：
bin/hdfs namenode -format sbin/hadoop-daemon.sh start namenode 5. 在[nn2]上，同步nn1的元數據信息： bin/hdfs namenode -bootstrapStandby 6. 啓動[nn2]： sbin/hadoop-daemon.sh start namenode 通過以上四步操做，nn1和nn2均處理standby狀態 7. 將[nn1]切換爲Active

有問題 如何配置自動切換的話 這個不要，強制手動 出現腦列問題....

 bin/hdfs haadmin -transitionToActive nn1
強制切換是 --forcemanual nn1，有人說重啓zkfc，我先格式化仍是而後啓動zkfc，說zkfc在運行。
而後重啓hbase便可。
 8.
此時兩個都是standby，standby也能夠啓動datanode。 在[nn1]上，啓動全部datanode sbin/hadoop-daemons.sh start datanode
9.啓動yarn
sbin/start-yarn.sh

在master1上多出ResourceManager進程，在slave1 slave2 slave3上多出NodeManager進程

10.啓動zkfc

sbin/hadoop-daemon.sh start zkfc

　　注意這個和上面的啓動journalNode式樣的，damons的並無啓動master的zkfc，須要單獨啓動。

 

11.

sbin/mr-jobhistory-daemon.sh  start historyserver     原文配置在Stand上，我改爲CentOSMaster上了。

 

 

11.啓動hbase

bin/start-hbase.sh

 

關閉Hadoop集羣： 在[nn1]上，輸入如下命令 sbin/stop-dfs.sh 並無中止上面的yarn和歷史服務器 主節點的journalNode也沒中止
各個節點的zookeeper也沒中止

hbase中止很慢 查看master日誌發現一直在等待Regionserver 那麼先中止它 hbase-daemons.sh stop regionserver

進入spark的sbin目錄下

start-all.sh

./start-history-server.sh

bin/spark-shell

 
12.關閉
a.zookeeper

$ZOOKEEPER_HOME/bin/zkServer.sh stop     一個一個關閉