1、啓動,按啓動順序執行命令。若是須要關閉集羣,則按反順序執行便可。
node
1.若是使用hdfs HA,需先啓動zookeeper集羣,具體請查看zookeeper的相關命令。bootstrap
2.若是使用hdfs HA,需格式化zookeeper集羣,oop
整個hdfs集羣只需第一次啓動時執行一次,spa
整個hdfs集羣只需第一次啓動時執行一次,orm
整個hdfs集羣只需第一次啓動時執行一次,server
命令以下:hadoop
bin/hdfs zkfc -formatZKci
說明:在ZK集羣中創建一個目錄,用於保存集羣中NameNode的狀態數據,不通的集羣須要在集羣中的隨意一臺namenode中執行此操做,操做完以後在zookeeper中會創建目錄/hadoop-ha/cluster1,通常首次執行便可。部署
3.若是使用journal集羣作HA,需啓動journal集羣,在journal集羣每一個節點執行以下命令:it
sbin/hadoop-daemon.sh start journalnode
4.格式化HDFS
整個hdfs集羣只需第一次啓動時執行一次,
整個hdfs集羣只需第一次啓動時執行一次,
整個hdfs集羣只需第一次啓動時執行一次,
hdfs HA,在任一namenode節點上執行以下命令:
hdfs namenode -format -clusterId cluster1
說明:格式化hdfs集羣cluster1,若是有多個集羣,每一個集羣都格式化一遍,隨便選擇集羣中的一個namenode便可。格式化以後在journal下就會有一個集羣名字的文件夾存namenode的數據。
非hdfs HA,在namenode節點上執行以下命令:
hdfs namenode -format
5.啓動hdfs集羣
hdfs HA
在namenode1上執行,啓動namenode:sbin/hadoop-daemon.sh start namenode
在namenode2上copy namenode1的數據,整個hdfs集羣只需第一次啓動時執行一次:bin/hdfs namenode -bootstrapStandby
在每臺datanode節點啓動datanode:sbin/hadoop-daemon.sh start datanode
在namenode2上執行,啓動namenode:sbin/hadoop-daemon.sh start namenode
在每臺namenode節點啓動namenode的zkfc:sbin/hadoop-daemon.sh start zkfc
非hdfs HA
在namenode上啓動namenode,執行:sbin/start-dfs.sh
6.啓動yarn集羣
yarn HA
在ResourceManger1上執行,啓動ResourceManger:sbin/yarn-daemon.sh start resourcemanager
在ResourceManger2上執行,啓動ResourceManger:sbin/yarn-daemon.sh start resourcemanager
在每臺NodeManager上執行,啓動NodeManager:sbin/yarn-daemon.sh start nodemanager
非yarn HA
在resourcemanager上啓動yarn:sbin/start-yarn.sh
7.啓動jobhistoryserver,jobhistoryserver能夠隨便部署在哪一個節點
在jobhistoryserver節點上啓動jobhistoryserver,執行:
sbin/mr-jobhistory-daemon.sh start historyserver