hadoop HA集羣搭建步驟

時間  2019-12-13
標籤 hadoop 集羣 搭建 步驟 欄目 Hadoop 简体版
原文   原文鏈接
  NameNode DataNode Zookeeper ZKFC JournalNode ResourceManager NodeManager
node1 √   √ √   √  
node2 √ √ √ √ √   √
node3   √ √   √   √
node4   √     √ √ √

（ZKFC在NameNode上啓動，NodeManager在DataNode上啓動，可經過start-dfs.sh和start-yarn.sh，yarn-daemons.sh查看）html

一、4臺機器，64位cenos6.5系統，Hadoop版本2.6.5java

二、配置/etc/hostsnode

三、安裝JDK1.8，配置環境變量shell

四、SSH免密登陸apache

五、在node1，node2，node3上安裝zookeeper，詳見http://www.javashuo.com/article/p-tpcfvyki-cp.htmlbootstrap

六、安裝配置hadoop集羣（在node1上操做）vim

  • 下載並解壓hadoop安裝包 
    tar -zxvf hadoop-2.6.5-x64.tar.gz
  • 添加到環境變量中（每臺都作） 
    vim /etc/profile
export HADOOP_HOME=/app/hadoop-2.6.5
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
  • 修改hadoop-env.sh 
    export JAVA_HOME=/usr/java/jdk1.8.0_144

　　　（若是ssh端口不是默認的22，在hadoop-env.sh中添加export HADOOP_SSH_OPTS="-p 1234"）瀏覽器

  • 修改hdfs-site.xml 
    <configuration>
    <!--指定hdfs的nameservice爲ns1，須要和core-site.xml中的保持一致 -->
    <property>
        <name>dfs.nameservices</name>
        <value>ns1</value>
    </property>
    <!-- ns1下面有兩個NameNode，分別是nn1，nn2，name中的ns1必須和nameservice中同樣 -->
    <property>
        <name>dfs.ha.namenodes.ns1</name>
        <value>nn1,nn2</value>
    </property>
    <!-- nn1的RPC通訊地址 -->
    <property>
        <name>dfs.namenode.rpc-address.ns1.nn1</name>
        <value>node1:9000</value>
    </property>
    <!-- nn1的http通訊地址 -->
    <property>
        <name>dfs.namenode.http-address.ns1.nn1</name>
        <value>node1:50070</value>
    </property>
    <!-- nn2的RPC通訊地址 -->
    <property>
        <name>dfs.namenode.rpc-address.ns1.nn2</name>
        <value>node2:9000</value>
    </property>
    <!-- nn2的http通訊地址 -->
    <property>
        <name>dfs.namenode.http-address.ns1.nn2</name>
        <value>node2:50070</value>
    </property>
    <!-- 指定NameNode的元數據在JournalNode上的存放位置 -->
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://node2:8485;node3:8485;node4:8485/ns1</value>
    </property>
    <!-- 指定JournalNode在本地磁盤存放數據的位置 -->
    <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/app/hadoop-2.6.5/journaldata</value>
    </property>
    <!-- 開啓NameNode失敗自動切換 -->
    <property>
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>
    <!-- 配置失敗自動切換實現方式 -->
    <property>
        <name>dfs.client.failover.proxy.provider.ns1</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
    <!-- 配置隔離機制方法，多個機制用換行分割，即每一個機制暫用一行-->
    <property>
        <name>dfs.ha.fencing.methods</name>
        <value>
            sshfence
            shell(/bin/true)
        </value>
    </property>
    <!-- 使用sshfence隔離機制時須要ssh免登錄 -->
    <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/root/.ssh/id_rsa</value>
    </property>
</configuration>
  • 修改core-site.xml 
    <configuration>
    <!-- 指定hdfs的nameservice爲ns1 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://ns1/</value>
    </property>
    <!-- 指定hadoop臨時目錄,tmp這個目錄須要提早創建好 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/app/hadoop-2.6.5/tmp</value>
    </property>
    <!-- 指定zookeeper地址 -->
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>node1:2181,node2:2181,node3:2181</value>
    </property>
</configuration>
  • 修改mapred-site.xml 
    <configuration>
    <!-- 指定mr框架爲yarn方式 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>
  • 修改yarn-site.xml 
    <configuration>
    <!-- 開啓RM高可用 -->
    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>
    <!-- 指定RM的cluster id -->
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>yrc</value>
    </property>
    <!-- 指定RM的名字 -->
    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
    </property>
    <!-- 分別指定RM的地址 -->
    <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>node1</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>node4</value>
    </property>
    <!-- 指定zk集羣地址 -->
    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>node1:2181,node2:2181,node3:2181</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>
  • 修改yarn-env.sh 
    export JAVA_HOME=/usr/java/jdk1.8.0_144
  • 修改slaves 
    node2
node3
node4
  • 將配置好的hadoop拷貝到其餘節點 
    scp -r  ./hadoop-2.6.5 hello@node2:/app/
scp -r  ./hadoop-2.6.5 hello@node3:/app/
scp -r  ./hadoop-2.6.5 hello@node4:/app/

七、啓動zookeeper集羣（分別在node一、node二、node3上啓動zk）bash

zkServer.sh start
#查看狀態：一個leader，兩個follower
zkServer.sh status

八、啓動journalnode（分別在在node二、node三、node4上執行）app

hadoop-daemon.sh start journalnode

　　jps命令檢驗，node二、node三、node4上多了JournalNode進程

九、格式化HDFS

  • 在node1上執行命令（任意一個NameNode上）：
hdfs namenode -format
  • 格式化後會根據core-site.xml中的hadoop.tmp.dir配置生成元數據文件（fsimage等），上面配置的地址是/app/hadoop-2.6.5/tmp
  • 而後啓動node1上的NameNode 
    hadoop-daemon.sh start namenode
  • 在未格式化過的NameNode上（node2）執行如下命令同步元數據 
    hdfs  namenode  -bootstrapStandby

    （若是是把一個非HA集羣轉成HA集羣，應該運行命令「hdfs –initializeSharedEdits」，這會初始化JournalNode中的數據）

十、在node1上格式化ZKFC(任意一個NameNode上)

hdfs zkfc -formatZK

　　這會在ZooKeeper中建立znode節點，存儲着NameNode失敗自動切換的數據

十一、啓動HDFS(在node1上執行)

sh start-dfs.sh

十二、啓動YARN(在node1上執行)

sh start-yarn.sh

　　在node4上執行（只啓動resourcemanager）

yarn-daemon.sh start resourcemanager

成功部署完成後，經過jps查看進程是否都存在，或者在瀏覽器輸入http://node1:50070查看NameNode信息。

 1三、爲了方便集羣管理，給你們提供了一鍵啓動和關閉的腳本

　　啓動順序應爲：ZooKeeper -> JournalNode (Hadoop) -> NameNode (Hadoop) -> DataNode (Hadoop) -> 主 ResourceManager/NodeManager (Hadoop) -> 備份 ResourceManager (Hadoop) -> ZKFC (Hadoop) -> MapReduce JobHistory (Hadoop)

　　關閉順序相反

#!bin/bash
echo "------------開始啓動集羣-------------"
echo "------------正在啓動JournalNode-----------"
for i in root@node2 root@node3 root@node4
do
    ssh $i '/app/hadoop-2.6.5/sbin/hadoop-daemon.sh start journalnode'
done
echo "------------正在啓動NameNode-----------"
hadoop-daemon.sh start namenode
ssh root@node2 '/app/hadoop-2.6.5/sbin/hadoop-daemon.sh start namenode'
echo "------------正在啓動DataNode-----------"
for i in root@node2 root@node3 root@node4
do
        ssh  $i '/app/hadoop-2.6.5/sbin/hadoop-daemon.sh start datanode'
done
echo "------------正在啓動resourmanager和nodemanager-----------"
sh start-yarn.sh
ssh root@node4 '/app/hadoop-2.6.5/sbin/yarn-daemon.sh start resourcemanager'
echo "------------正在啓動zkfc-----------"
hadoop-daemon.sh start zkfc
ssh root@node2 '/app/hadoop-2.6.5/sbin/hadoop-daemon.sh start zkfc'
echo "-----------集羣啓動完成，請用jps檢查或瀏覽器檢查是否成功-----------"
node1上一鍵啓動 
#!bin/bash
echo "------------開始關閉集羣-------------"
echo "------------正在關閉zkfc-----------"
ssh root@node2 '/app/hadoop-2.6.5/sbin/hadoop-daemon.sh stop zkfc'
hadoop-daemon.sh stop zkfc
echo "------------正在關閉resourmanager和nodemanager-----------"
ssh root@node4 '/app/hadoop-2.6.5/sbin/yarn-daemon.sh stop resourcemanager'
sh stop-yarn.sh
echo "------------正在關閉DataNode-----------"
for i in root@node2 root@node3 root@node4
do
        ssh $i '/app/hadoop-2.6.5/sbin/hadoop-daemon.sh stop datanode'
done
echo "------------正在關閉NameNode-----------"
hadoop-daemon.sh stop namenode
ssh root@node2 '/app/hadoop-2.6.5/sbin/hadoop-daemon.sh stop namenode'
echo "------------正在關閉JournalNode-----------"
for i in root@node2 root@node3 root@node4
do
    ssh $i '/app/hadoop-2.6.5/sbin/hadoop-daemon.sh stop journalnode'
done
echo "-----------集羣關閉完成，請用jps檢查是否成功-----------"
node1上一鍵關閉

測試集羣工做狀態的一些指令：

./bin/hdfs dfsadmin -report                           查看hdfs的各節點狀態信息./bin/hdfs haadmin -getServiceState nn1        查看namenode高可用./bin/yarn rmadmin -getServiceState rm1       查看ResourceManager高可用./sbin/hadoop-daemon.sh start namenode     單獨啓動一個namenode進程./sbin/hadoop-daemon.sh start zkfc                     單獨啓動一個zkfc進程

相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程