Hadoop HA+Federation 高可用聯邦模式搭建指南

時間 2019-11-07

標籤 hadoop ha+federation federation 可用聯邦模式搭建指南欄目 Hadoop 简体版

原文原文鏈接

簡述

Hadoop 集羣一共有4種部署模式，詳見《Hadoop 生態圈介紹》。 HA聯邦模式解決了單純HA模式的性能瓶頸（主要指Namenode、ResourceManager），將整個HA集羣劃分爲兩個以上的集羣，不一樣的集羣之間經過Federation進行鏈接，使得HA集羣擁有了橫向擴展的能力。理論上，在該模式下，可以經過增長計算節點以處理無限增加的數據。聯邦模式下的配置在原HA模式的基礎上作了部分調整。html

全部四種模式的部署指南見：java

Hadoop 僞分佈式搭建指南node

Hadoop 徹底分佈式搭建指南linux

Hadoop HA高可用集羣模式搭建指南web

Hadoop HA+Federation（聯邦）模式搭建指南shell

搭建過程

系統環境

Ubuntu 14.04 x64 Server LTS
Hadoop 2.7.2
vagrant 模擬4臺主機，內存都爲2Gapache

集羣節點規劃

IP	主機名	角色描述	集羣
192.168.100.201	h01.vm.com	namenode-ns1-nn1, zkfc, QuorumPeerMain, resourcemanager	ns1
192.168.100.202	h02.vm.com	namenode-ns1-nn2, zkfc, QuorumPeerMain, resourcemanager, journalnode,	ns1
192.168.100.203	h03.vm.com	namenode-ns2-nn3, zkfc, QuorumPeerMain, journalnode, nodemanager, datanode	ns2
192.168.100.204	h04.vm.com	namenode-ns2-nn4, zkfc, journalnode, nodemanager, datanode	ns2

上表中：bootstrap

QuorumPeerMain 是zookeeper集羣的入口進程；
zkfc 是 Zookeeper FailoverController 的簡稱，主要用於實現兩個NN之間的容災。
resourcemanager 是 yarn 中負責資源協調和管理的進程
nodemanager 是 yarn 中單個節點上的代理進程，向 RM 彙報信息，監控該節點資源
datanode 是 hdfs 的工做節點，負責實際的數據存儲和任務計算
journalnode 是QJM模式下兩個NN節點同步數據的進程，每一個HA集羣裏面的高可用依賴它
ns1,ns2 是集羣的邏輯名稱
nn1,nn2, nn3, nn4 是集羣中NN的邏輯名稱

zookeeper 節點須要配置奇數臺，通常配置3-7臺便可。2000多個節點的集羣也僅須要5-9臺zk；journalnode與zk相似，也是配置奇數臺，且最少須要3臺，一樣不須要太多；另外zkfc須要在啓動namenode的節點上也啓動，以保障NN間的心跳機制。ubuntu

更新軟件源索引

分別在 h01 h02 h03 h04 操做

sudo apt-get update

安裝基礎軟件

分別在 h01 h02 h03 h04 操做

sudo apt-get install ssh
sudo apt-get install rsync

配置主機域名

分別在 h01 h02 h03 h04 操做

sudo vim /etc/hostname # centos系統可能沒有該文件，建立便可
h01.vm.com # 該節點主機名

將該文件內容修改成對應的主機名，例如 h01.vm.comvim

域名解析

搭建內網DNS服務器（可選，但推薦），可閱讀vincent的博文 http://blog.kissdata.com/2014/07/10/ubuntu-dns-bind.html
配置 /etc/hosts，將如下代碼追加到文件末尾便可（如搭建了DNS服務器，則跳過此步驟）
分別在 h01 h02 h03 h04 操做

sudo vim /etc/hosts
192.168.100.201 h01.vm.com h01
192.168.100.202 h02.vm.com h02
192.168.100.203 h03.vm.com h03
192.168.100.204 h04.vm.com h04

!!! Ubuntu系統，須刪掉 /etc/hosts 映射 127.0.1.1/127.0.0.1 !!! Check that there isn't an entry for your hostname mapped to 127.0.0.1 or 127.0.1.1 in /etc/hosts (Ubuntu is notorious for this). 127.0.1.1 h01.vm.com # must remove

否則可能會引發 hadoop、zookeeper 節點間通訊的問題

時間同步（生產環境中務必配置）

在內網中搭建 ntp 服務器，可閱讀vincent的博文 http://blog.kissdata.com/2014/10/28/ubuntu-ntp.html

準備jdk、hadoop和zookeeper軟件包

須到官方網站下載stable版本 jdk-7u79-linux-x64.tar.gz hadoop-2.7.2.tar.gz zookeeper-3.4.8.tar.gz
全部的軟件包都統一解壓到 /home/vagrant/VMBigData 目錄下，其中 vagrant 是linux系統的用戶名，因爲我是使用 vagrant 虛擬的主機，因此默認是 vagrant
在 h01 操做

# 先在其中一臺機子操做，後面會使用 scp 命令或者其餘方法同步到其餘主機
mkdir -p /home/vagrant/VMBigData/hadoop /home/vagrant/VMBigData/java /home/vagrant/VMBigData/zookeeper
tar zxf jdk-7u79-linux-x64.tar.gz -C /home/vagrant/VMBigData/java
tar zxf hadoop-2.7.2.tar.gz -C /home/vagrant/VMBigData/hadoop
tar zxf zookeeper-3.4.8.tar.gz -C /home/vagrant/VMBigData/zookeeper

配置軟鏈接，方便之後升級版本

在 h01 操做，後面經過 scp 同步到其餘主機

ln -s /home/vagrant/VMBigData/java/jdk1.7.0_79/  /home/vagrant/VMBigData/java/default
ln -s /home/vagrant/VMBigData/hadoop/hadoop-2.7.2/  /home/vagrant/VMBigData/hadoop/default
ln -s /home/vagrant/VMBigData/zookeeper/zookeeper-3.4.8/ /home/vagrant/VMBigData/zookeeper/default

配置環境變量

分別在 h01 h02 h03 h04 操做

sudo vim /etc/profile
export HADOOP_HOME=/home/vagrant/VMBigData/hadoop/default
export JAVA_HOME=/home/vagrant/VMBigData/java/default
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH
source /etc/profile

配置免密碼ssh登陸

hadoop主節點須要能遠程登錄集羣內的全部節點（包括本身），以執行命令。因此須要配置免密碼的ssh登錄。可選的ssh祕鑰對生成方式有rsa和dsa兩種，這裏選擇rsa。

分別在 h01 h02 h03 h04 ，即4個主節點上操做

ssh-keygen -t rsa -C "youremail@xx.com"
# 注意在接下來的命令行交互中，直接按回車跳過輸入密碼

分別在 h01 h02 h03 h04 上操做。如下命令將本節點的公鑰 id_rsa.pub 文件的內容追加到遠程主機的 authorized_keys 文件中（默認位於 ~/.ssh/）

ssh-copy-id vagrant@h01.vm.com # vagrant是遠程主機用戶名
ssh-copy-id vagrant@h02.vm.com
ssh-copy-id vagrant@h03.vm.com
ssh-copy-id vagrant@h04.vm.com

在 h01 h02 h03 h04 上測試無密碼 ssh 登陸到 h01 h02 h03 h04

ssh h01.vm.com
ssh h02.vm.com
ssh h03.vm.com
ssh h04.vm.com

!!! 注意使用rsa模式生成密鑰對時，不要輕易覆蓋原來已有的，肯定無影響時方可覆蓋 !!!

配置從節點

在 slaves 文件中配置的主機即爲從節點，將自動運行datanode, nodemanager服務

在 h01 操做，後面經過 scp 同步到其餘主機

vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/slaves
h03.vm.com
h04.vm.com

也能夠在不一樣集羣裏配置不一樣的從節點

創建存儲數據的相應目錄

在 h01 操做，後面經過 scp 同步到其餘主機

mkdir -p /home/vagrant/VMBigData/hadoop/data/hdfs/tmp
mkdir -p /home/vagrant/VMBigData/hadoop/data/journal/data
mkdir -p /home/vagrant/VMBigData/hadoop/data/pid
mkdir -p /home/vagrant/VMBigData/hadoop/data/namenode1
mkdir -p /home/vagrant/VMBigData/hadoop/data/namenode2
mkdir -p /home/vagrant/VMBigData/hadoop/data/datanode1
mkdir -p /home/vagrant/VMBigData/hadoop/data/datanode2
mkdir -p /home/vagrant/VMBigData/hadoop/data/local-dirs
mkdir -p /home/vagrant/VMBigData/hadoop/data/log-dirs

配置hadoop參數

在 h01 操做，後面經過 scp 同步到其餘主機

vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/hadoop-env.sh

# export JAVA_HOME=${JAVA_HOME} # 注意註釋掉原來的這行
export JAVA_HOME=/home/vagrant/VMBigData/java/default
export HADOOP_PREFIX=/home/vagrant/VMBigData/hadoop/default
# export HADOOP_PID_DIR=${HADOOP_PID_DIR} # 注意註釋掉原來的這行
export HADOOP_PID_DIR=/home/vagrant/VMBigData/hadoop/data/hdfs/pid
export YARN_PID_DIR=/home/vagrant/VMBigData/hadoop/data/hdfs/pid
# export HADOOP_SECURE_DN_PID_DIR=${HADOOP_PID_DIR} # 注意註釋掉原來的這行
export HADOOP_SECURE_DN_PID_DIR=${HADOOP_PID_DIR}

vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/mapred-env.sh

export HADOOP_MAPRED_PID_DIR=/home/vagrant/VMBigData/hadoop/data/hdfs/pid

vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/core-site.xml

<?xml version="1.0" encoding="utf-8"?>
# <configuration> # 注意此處的修改
<configuration xmlns:xi="http://www.w3.org/2001/XInclude">
  <xi:include href="/home/vagrant/VMBigData/hadoop/default/etc/hadoop/cmt.xml" /> # 此處引入federation的額外配置文件
  <property> 
    <!-- 指定hdfs的nameservice名稱，在 cmt.xml 文件中會引用。注意此處的修改 -->  
    <name>fs.defaultFS</name>  
    <value>viewfs://nsX</value> 
  </property>  
  <!-- 指定hadoop數據存儲目錄 -->  
  <property> 
    <name>hadoop.tmp.dir</name>  
    <value>/home/vagrant/VMBigData/hadoop/data/hdfs/tmp</value> 
  </property>
  <property> 
    <!-- 注意此處將該配置項從 hdfs-site.xml 文件中遷移過來了 -->
    <name>dfs.journalnode.edits.dir</name>  
    <value>/home/vagrant/VMBigData/hadoop/data/journal/data</value> 
  </property>
  <!-- 指定zookeeper地址 -->  
  <property> 
    <name>ha.zookeeper.quorum</name>  
    <value>h01.vm.com:2181,h02.vm.com:2181,h03.vm.com:2181</value> 
  </property> 
</configuration>

vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/cmt.xml

<?xml version="1.0" encoding="utf-8"?>
<configuration>
  <property> 
    <!-- 將 hdfs 的 /view_ns1 目錄掛載到 ns1 的NN下管理，整個federation的不一樣HA集羣也是能夠讀寫此目錄的，可是在指定路徑是須要指定徹底路徑 -->
    <name>fs.viewfs.mounttable.nsX.link./view_ns1</name>  
    <value>hdfs://ns1</value> 
  </property> 
  <property> 
    <name>fs.viewfs.mounttable.nsX.link./view_ns2</name>  
    <value>hdfs://ns2</value> 
  </property> 
  <property> 
    <!-- 指定 /tmp 目錄，許多依賴hdfs的組件可能會用到此目錄 -->
    <name>fs.viewfs.mounttable.nsX.link./tmp</name>  
    <value>hdfs://ns1/tmp</value> 
  </property> 
</configuration>

vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/hdfs-site.xml

<?xml version="1.0" encoding="utf-8"?>
<!-- HDFS-HA 配置 -->
<configuration> 
  <property> 
    <!-- 由於集羣規劃中只配置了2各datanode節點，因此此處只能設置小於2，由於hadoop默認不容許將不一樣的副本存放到相同的節點上 -->  
    <name>dfs.replication</name>  
    <value>2</value> 
  </property>  
  
  <property> 
    <!-- 白名單：僅容許如下datanode鏈接到NN，一行一個，也能夠指定一個文件 -->
    <name>dfs.hosts</name>  
    <value>
    <!-- ~/VMBigData/hadoop/default/etc/hadoop/hosts.allow -->
    h01.vm.com
    h02.vm.com
    h03.vm.com
    h04.vm.com
    </value> 
  </property> 
  <property> 
    <!-- 黑名單：不容許如下datanode鏈接到NN，一行一個，也能夠指定一個文件 -->
    <name>dfs.hosts.exclude</name>  
    <value></value> 
  </property> 

  <property> 
    <!-- 集羣的命名空間、邏輯名稱，可配置多個，可是與 cmt.xml 配置對應 -->
    <name>dfs.nameservices</name>  
    <value>ns1,ns2</value> 
  </property> 
  <property> 
    <!-- 命名空間中全部NameNode的惟一標示。該標識指示集羣中有哪些NameNode。目前單個集羣最多隻能配置兩個NameNode -->  
    <name>dfs.ha.namenodes.ns1</name>  
    <value>nn1,nn2</value> 
  </property>  
  <property> 
    <name>dfs.ha.namenodes.ns2</name>  
    <value>nn3,nn4</value> 
  </property>  
  <property> 
    <name>dfs.namenode.rpc-address.ns1.nn1</name>  
    <value>h01.vm.com:9000</value> 
  </property>  
  <property> 
    <name>dfs.namenode.http-address.ns1.nn1</name>  
    <value>h01.vm.com:50070</value> 
  </property>  
  <property> 
    <name>dfs.namenode.rpc-address.ns1.nn2</name>  
    <value>h02.vm.com:9000</value> 
  </property>  
  <property> 
    <name>dfs.namenode.http-address.ns1.nn2</name>  
    <value>h02.vm.com:50070</value> 
  </property>  
  <property> 
    <name>dfs.namenode.rpc-address.ns2.nn3</name>  
    <value>h03.vm.com:9000</value> 
  </property>  
  <property> 
    <name>dfs.namenode.http-address.ns2.nn3</name>  
    <value>h03.vm.com:50070</value> 
  </property>  
  <property> 
    <name>dfs.namenode.rpc-address.ns2.nn4</name>  
    <value>h04.vm.com:9000</value> 
  </property>  
  <property> 
    <name>dfs.namenode.http-address.ns2.nn4</name>  
    <value>h04.vm.com:50070</value> 
  </property>  
 
  <property> 
    <!-- JournalNode URLs，ActiveNameNode 會將 Edit Log 寫入這些 JournalNode 所配置的本地目錄即 dfs.journalnode.edits.dir -->  
    <name>dfs.namenode.shared.edits.dir</name>  
    <!-- 注意此處的ns1，當配置文件所在節點處於ns1集羣時，此處爲ns1，當處於ns2集羣時，此處爲ns2 -->
<value>qjournal://h02.vm.com:8485;h03.vm.com:8485;h04.vm.com:8485/ns1</value> 
  </property>  
  <!-- JournalNode 用於存放 editlog 和其餘狀態信息的目錄 -->  
  <property> 
    <name>dfs.journalnode.edits.dir</name>  
    <value>/home/vagrant/VMBigData/hadoop/data/journal</value> 
  </property>  
  <property> 
    <name>dfs.ha.automatic-failover.enabled</name>  
    <value>true</value> 
  </property>  
  <property> 
    <name>dfs.client.failover.proxy.provider.ns1</name>  
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> 
  </property>  
  <property> 
    <name>dfs.client.failover.proxy.provider.ns2</name>  
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> 
  </property>  
  <!-- 一種關於 NameNode 的隔離機制(fencing) -->  
  <property> 
    <name>dfs.ha.fencing.methods</name>  
    <value>
        sshfence
        shell(/bin/true)
    </value> 
  </property>  
  <property> 
    <name>dfs.ha.fencing.ssh.private-key-files</name>  
    <value>/home/vagrant/.ssh/id_rsa</value> 
  </property>  
  <property> 
    <name>dfs.ha.fencing.ssh.connect-timeout</name>  
    <value>30000</value> 
  </property>  

  <property> 
    <name>dfs.namenode.name.dir</name>  
    <!-- 建立的namenode文件夾位置，若有多個用逗號隔開。配置多個的話，每個目錄下數據都是相同的，達到數據冗餘備份的目的 -->  
    <value>file:///home/vagrant/VMBigData/hadoop/data/namenode1,file:///home/vagrant/VMBigData/hadoop/data/namenode2</value> 
  </property>  
  <property> 
    <name>dfs.datanode.data.dir</name>  
    <!-- 建立的datanode文件夾位置，多個用逗號隔開，實際不存在的目錄會被忽略 -->  
    <value>file:///home/vagrant/VMBigData/hadoop/data/datanode1,file:///home/vagrant/VMBigData/hadoop/data/datanode2</value> 
  </property> 
</configuration>

vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/yarn-env.sh

# export JAVA_HOME=/home/y/libexec/jdk1.6.0/
export JAVA_HOME=/home/vagrant/VMBigData/java/default/

vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/yarn-site.xml

<?xml version="1.0" encoding="utf-8"?>
<!-- YARN-HA 配置 -->
<configuration> 
  <!-- YARN HA 配置開始，與NN HA很類似 -->
  <property> 
    <name>yarn.resourcemanager.zk-address</name>  
    <value>h01.vm.com:2181,h02.vm.com:2181,h03.vm.com:2181</value> 
  </property>  
  <property> 
    <!-- 啓用RM的高可用模式 -->
    <name>yarn.resourcemanager.ha.enabled</name>  
    <value>true</value> 
  </property> 
  <property> 
    <!-- 配置HA節點的邏輯名稱 -->
    <name>yarn.resourcemanager.ha.rm-ids</name>  
    <value>rm1,rm2</value> 
  </property> 
  <property> 
    <name>yarn.resourcemanager.hostname.rm1</name>  
    <value>h01.vm.com</value> 
  </property> 
  <property> 
    <name>yarn.resourcemanager.hostname.rm2</name>  
    <value>h02.vm.com</value> 
  </property> 
  <property> 
    <name>yarn.resourcemanager.address.rm1</name>  
    <value>h01.vm.com:8032</value> 
  </property> 
  <property> 
    <name>yarn.resourcemanager.address.rm2</name>  
    <value>h02.vm.com:8032</value> 
  </property> 
  <property> 
    <name>yarn.resourcemanager.scheduler.address.rm1</name>  
    <value>h01.vm.com:8030</value> 
  </property> 
  <property> 
    <name>yarn.resourcemanager.scheduler.address.rm2</name>  
    <value>h02.vm.com:8030</value> 
  </property> 
  <property> 
    <name>yarn.resourcemanager.resource-tracker.address.rm1</name>  
    <value>h01.vm.com:8031</value> 
  </property> 
  <property> 
    <name>yarn.resourcemanager.resource-tracker.address.rm2</name>  
    <value>h02.vm.com:8031</value> 
  </property> 
  <property> 
    <name>yarn.resourcemanager.webapp.address.rm1</name>  
    <value>h01.vm.com:8088</value> 
  </property> 
  <property> 
    <name>yarn.resourcemanager.webapp.address.rm2</name>  
    <value>h02.vm.com:8088</value> 
  </property> 
  <property> 
    <name>yarn.resourcemanager.ha.automatic-failover.enabled</name>  
    <value>true</value> 
  </property> 
  <property> 
    <!-- 配置集羣ID，使得yarn可以在正確的集羣上Active -->
    <name>yarn.resourcemanager.cluster-id</name>  
    <value>hd0703-yarn</value> 
  </property> 
  <property> 
    <name>yarn.client.failover-proxy-provider</name>  
    <value>org.apache.hadoop.yarn.client.ConfiguredRMFailoverProxyProvider</value> 
  </property> 
  <property> 
    <name>yarn.resourcemanager.recovery.enabled</name>  
    <value>true</value> 
  </property> 
  <property>
    <!-- 兩個可選值：org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore 以及 默認值org.apache.hadoop.yarn.server.resourcemanager.recovery.FileSystemRMStateStore -->
    <name>yarn.resourcemanager.store.class</name>  
    <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value> 
  </property> 
  <!-- YARN HA 配置結束 -->

  <property> 
    <name>yarn.log-aggregation-enable</name>  
    <!-- 打開日誌聚合功能，這樣才能從web界面查看日誌 -->  
    <value>true</value> 
  </property>  
  <property> 
    <name>yarn.log-aggregation.retain-seconds</name>  
    <!-- 聚合日誌最長保留時間 -->  
    <value>86400</value> 
  </property>  
  <property> 
    <name>yarn.nodemanager.resource.memory-mb</name>  
    <!-- NodeManager總的可用內存，這個要根據實際狀況合理配置 -->  
    <value>1024</value> 
  </property>  
  <property> 
    <name>yarn.scheduler.minimum-allocation-mb</name>  
    <!-- MapReduce做業時，每一個task最少可申請內存 -->  
    <value>256</value> 
  </property>  
  <property> 
    <name>yarn.scheduler.maximum-allocation-mb</name>  
    <!-- MapReduce做業時，每一個task最多可申請內存 -->  
    <value>512</value> 
  </property>  
  <property> 
    <name>yarn.nodemanager.vmem-pmem-ratio</name>  
    <!-- 可申請使用的虛擬內存，相對於實際使用內存大小的倍數。實際生產環境中可設置的大一些，如4.2 -->  
    <value>2.1</value> 
  </property>  
  <property> 
    <name>yarn.nodemanager.vmem-check-enabled</name>  
    <value>false</value> 
  </property>  
  <property> 
    <name>yarn.nodemanager.local-dirs</name>  
    <!-- 中間結果存放位置。注意，這個參數一般會配置多個目錄，已分攤磁盤IO負載。 -->  
    <value>/home/vagrant/VMBigData/hadoop/data/localdir1,/home/vagrant/VMBigData/hadoop/data/localdir2</value> 
  </property>  
  <property> 
    <name>yarn.nodemanager.log-dirs</name>  
    <!-- 日誌存放位置。注意，這個參數一般會配置多個目錄，已分攤磁盤IO負載。 -->  
    <value>/home/vagrant/VMBigData/hadoop/data/hdfs/logdir1,/home/vagrant/VMBigData/hadoop/data/hdfs/logdir2</value> 
  </property>  
  <property> 
    <name>yarn.nodemanager.aux-services</name>  
    <value>mapreduce_shuffle</value> 
  </property>  
  <property> 
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>  
    <value>org.apache.hadoop.mapred.ShuffleHandler</value> 
  </property> 
</configuration>

vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/mapred-site.xml

<?xml version="1.0" encoding="utf-8"?>
<configuration> 
  <property> 
    <name>mapreduce.framework.name</name>  
    <value>yarn</value> 
  </property>  
  <property> 
    <name>yarn.app.mapreduce.am.resource.mb</name>  
    <!-- 默認值爲 1536,可根據須要調整，調小一些也是可接受的 -->  
    <value>512</value> 
  </property>  
  <property> 
    <name>mapreduce.map.memory.mb</name>  
    <!-- 每一個map task申請的內存，每一次都會實際申請這麼多 -->  
    <value>384</value> 
  </property>  
  <property> 
    <name>mapreduce.map.java.opts</name>  
    <!-- 每一個map task中的child jvm啓動時參數，須要比 mapreduce.map.memory.mb 設置的小一些 -->  
    <!-- 注意：map任務裏不必定跑java，可能跑非java（如streaming） -->  
    <value>-Xmx256m</value> 
  </property>  
  <property> 
    <name>mapreduce.reduce.memory.mb</name>  
    <value>384</value> 
  </property>  
  <property> 
    <name>mapreduce.reduce.java.opts</name>  
    <value>-Xmx256m</value> 
  </property>  
  <property> 
    <name>mapreduce.tasktracker.map.tasks.maximum</name>  
    <value>2</value> 
  </property>  
  <property> 
    <name>mapreduce.tasktracker.reduce.tasks.maximum</name>  
    <value>2</value> 
  </property>  
  <property> 
    <name>mapred.child.java.opts</name>  
    <!-- 默認值爲 -Xmx200m，生產環境能夠設大一些 -->  
    <value>-Xmx384m</value> 
  </property>  
  <property> 
    <name>mapreduce.task.io.sort.mb</name>  
    <!-- 任務內部排序緩衝區大小 -->  
    <value>128</value> 
  </property>  
  <property> 
    <name>mapreduce.task.io.sort.factor</name>  
    <!-- map計算徹底後的merge階段，一次merge時最多可有多少個輸入流 -->  
    <value>100</value> 
  </property>  
  <property> 
    <name>mapreduce.reduce.shuffle.parallelcopies</name>  
    <!-- reuduce shuffle階段並行傳輸數據的數量 -->  
    <value>50</value> 
  </property>  
  <property> 
    <name>mapreduce.jobhistory.address</name>  
    <value>h01.vm.com:10020</value> 
  </property>  
  <property> 
    <name>mapreduce.jobhistory.webapp.address</name>  
    <value>h01.vm.com:19888</value> 
  </property> 
</configuration>

!!! 特別要注意 !!! 在 hdfs-site.xml 文件中的 dfs.namenode.shared.edits.dir 配置項：當配置文件所在節點處於ns1集羣時，此處值末尾部分爲ns1，當處於ns2集羣時，則爲ns2

安裝配置zookeeper

在 h01 操做，後面經過 scp 同步到其餘主機

cd /home/vagrant/VMBigData/zookeeper/default/conf/
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg
# 對該文件作出如下修改
dataDir=/home/vagrant/VMBigData/zookeeper/data/tmp
# 若是沒法啓動zookeeper，可將如下代碼對應的行改成 0.0.0.0:2888:3888
# 注意zookeeper解析該文件很死板，不要輸入多餘的空格和空行
server.1=h01.vm.com:2888:3888
server.2=h02.vm.com:2888:3888
server.3=h03.vm.com:2888:3888

mkdir -p /home/vagrant/VMBigData/zookeeper/data/tmp
vim /home/vagrant/VMBigData/zookeeper/data/tmp/myid
# 在此文件中輸入節點編號，好比h01節點就輸入1，h02節點就輸入2

將hadoop所需文件同步到其餘主機

在 h01 上操做

scp -r /home/vagrant/VMBigData vagrant@h02.vm.com:/home/vagrant
scp -r /home/vagrant/VMBigData vagrant@h03.vm.com:/home/vagrant
scp -r /home/vagrant/VMBigData vagrant@h04.vm.com:/home/vagrant

!!! 注意：default 軟鏈接須要重建 !!!

修改各節點的 zookeeper 的 /home/vagrant/VMBigData/zookeeper/data/tmp/myid 文件，內容爲各節點編號，本例中爲 1,2,3

啓動zookeeper

在 h01 h02 h03 操做

cd /home/vagrant/VMBigData/zookeeper/default
bin/zkServer.sh start

啓動JournalNode

在任一配置了journalnode的節點操做

cd /home/vagrant/VMBigData/hadoop/default
sbin/hadoop-daemons.sh --hostnames "h02.vm.com h03.vm.com h04.vm.com" start journalnode

格式化namenode

在 h01 和 h03 即每一個集羣其中一臺namenode的節點上執行
注意須要指定集羣ID

hdfs namenode -format -clusterid hd0703

!!! 注意僅在首次啓動時執行，由於此命令會刪除hadoop集羣全部的數據 !!!

啓動格式化後的namenode

在已經格式化過的 h01 和 h03 namenode 節點運行

cd /home/vagrant/VMBigData/hadoop/default
sbin/hadoop-daemons.sh  --hostnames "h01.vm.com h03.vm.com" start namenode

同步四個namenode的數據

在 h02 和 h04 執行同步

cd /home/vagrant/VMBigData/hadoop/default
hdfs namenode -bootstrapStandby

啓動同步後的namenode

在已經同步過的 h02 和 h04 namenode 節點運行

cd /home/vagrant/VMBigData/hadoop/default
sbin/hadoop-daemons.sh  --hostnames "h02.vm.com h04.vm.com" start namenode

格式化zkfc

在 h01 和 h03 (主namenode) 上操做

hdfs zkfc -formatZK

!!! 注意僅在首次啓動時執行 !!!

啓動zkfc

在 h01 操做便可

cd /home/vagrant/VMBigData/hadoop/default
sbin/hadoop-daemons.sh --hostnames "h01.vm.com h02.vm.com h03.vm.com h04.vm.com" start zkfc
# sbin/hadoop-daemons.sh stop zkfc #  中止

啓動hadoop集羣：

啓動hdfs

可在任意主節點執行

cd /home/vagrant/VMBigData/hadoop/default
sbin/start-dfs.sh
# sbin/stop-dfs.sh # 中止

啓動Yarn

在h01 和 h02 即計劃搭載 ResourceManager 的節點上操做

cd /home/vagrant/VMBigData/hadoop/default
sbin/start-yarn.sh
# sbin/stop-yarn.sh# 中止

瀏覽服務啓動狀況

NameNode1 http://192.168.100.201:50070

NameNode2 http://192.168.100.202:50070

NameNode3 http://192.168.100.203:50070

NameNode4 http://192.168.100.204:50070

ResourceManager1 http://192.168.100.201:8088

ResourceManager2 http://192.168.100.202:8088

Datanode http://192.168.100.203:50075 http://192.168.100.204:50075

zookeeper bin/zkServer.sh status

zookeeper命令行 zkCli.sh -server 127.0.0.1:2181

集羣狀態 bin/hdfs dfsadmin -report

hadoop進程 jps

動態添加/刪除HA集羣

// todo

動態添加/刪除datanode

// todo

參考連接

Apache Hadoop 2.7.2 – HDFS Federation

Apache Hadoop 2.7.2 – HDFS High Availability Using the Quorum Journal Manager

Apache Hadoop 2.7.2 – ResourceManager High Availability

相關標籤/搜索

每日一句

每一个你不满意的现在，都有一个你没有努力的曾经。