Hadoop記錄-Federation聯邦機制
在Hadoop2.0以前，HDFS的單NameNode設計帶來諸多問題： php
單點故障、內存受限，制約集羣擴展性和缺少隔離機制（不一樣業務使用同一個NameNode致使業務相互影響）等
爲了解決這些問題，除了用基於共享存儲的HA解決方案咱們還能夠用HDFS的Federation機制來解決這個問題。
【單機namenode的瓶頸大約是在4000臺集羣，然後則須要使用聯邦機制】html
什麼是Federation機制
Federation是指HDFS集羣可以使用多個獨立的NameSpace(NameNode節點管理)來知足HDFS命名空間的水平擴展
這些NameNode分別管理一部分數據，且共享全部DataNode的存儲資源。java
NameSpace之間在邏輯上是徹底相互獨立的(即任意兩個NameSpace能夠有徹底相同的文件名)。在物理上能夠徹底獨立(每一個NameNode節點管理不一樣的DataNode)也能夠有聯繫(共享存儲節點DataNode)。一個NameNode節點只能管理一個Namespacenode
Federation機制解決單NameNode存在的如下幾個問題
（1）HDFS集羣擴展性。每一個NameNode分管一部分namespace，至關於namenode是一個分佈式的。
（2）性能更高效。多個NameNode同時對外提供服務，提供更高的讀寫吞吐率。
（3）良好的隔離性。用戶可根據須要將不一樣業務數據交由不一樣NameNode管理，這樣不一樣業務之間影響很小。
（4）Federation良好的向後兼容性，已有的單Namenode的部署配置不須要任何改變就能夠繼續工做。linux
Federation是簡單魯棒的設計
魯棒性（健壯和強壯）：在輸入錯誤、磁盤故障、網絡過載或有意攻擊狀況下，可否不死機、不崩潰web
因爲聯盟中各個Namenode之間是相互獨立的：Federation整個核心設計大部分改變是在Datanode、Config和Tools，而Namenode自己的改動很是少，這樣Namenode原先的魯棒性不會受到影響。比分佈式的Namenode簡單，雖然擴展性比真正的分佈式的Namenode要小些，可是能夠迅速知足需求。算法
另一個緣由是Federation良好的向後兼容性，能夠無縫的支持目前單Namenode架構中的配置。已有的單Namenode的部署配置不須要任何改變就能夠繼續工做。shell
Federation不足之處
HDFS Federation並無徹底解決單點故障問題。雖然namenode/namespace存在多個，可是從單個namenode/namespace看，仍然存在單點故障。所以 Federation中每一個namenode配置成HA高可用集羣，以便主namenode掛掉一下，用於快速恢復服務。
Federation 架構apache
Federation方案的基本思路就是使用多個獨立的NameSpace(NameNode節點管理)來知足HDFS命名空間的水平擴展,NameSpace之間在邏輯上是徹底相互獨立的(即任意兩個NameSpace能夠有徹底相同的文件名),而在物理上能夠徹底獨立(NameNode節點管理不一樣的DataNode)也能夠有聯繫(共享存儲節點DataNode)很顯然,任何一個NameNode節點只能管理一個Namespace.這種在邏輯上沒法統一命名空間的設計對於初學者來講,可能會經常踩到文件名衝突或文件不存在的陷阱中.很顯然,任何一個NameNode節點只能管理一個Namespace.bootstrap
爲了水平擴展namenode，federation使用了多個獨立的namenode/namespace
這些namenode之間相互獨立且不須要互相協調，各自分工，管理本身的區域。分佈式的datanode被用做通用的數據塊存儲存儲設備。每一個datanode要向集羣中全部的namenode註冊，且週期性地向全部namenode發送心跳和塊報告，並執行來自全部namenode的命令。
每一個namenode維護一個命名空間卷（namespace volume）
由命名空間的元數據和一個數據塊池組成，數據塊池（block pool）包含該命名空間下文件的全部數據塊。
命名空間卷之間相互獨立
兩兩之間並不互相通訊，甚至其中一個namenode的失效也不會影響由其餘namenode維護的命名空間的可用性。
一個namespace和它的blockpool做爲一個管理單元（稱爲namespace volume）
數據塊池再也不切分，則集羣中的DataNode須要註冊到每一個namenode，而且存儲着來自多個數據塊池中的數據塊。當namenode/namespace被刪除後，其全部datanode上對應的block pool也會被刪除。集羣升級時，這個管理單元也獨立升級。
NameNode的HA
實現NameNode的HA方案,最重要的部分就是須要一個共享式的存儲系統來實時存儲NameNode的操做日誌,而這種共享式的存儲系統必需要知足兩個基本條件:一是自身必需要高可用,二是保證強一致性.目前,Hadoop-2.x使用Quorum Journal Manager(QJM)來實現操做日誌的共享,QJM是一個比ZooKeeper要輕量級的分佈式存儲系統,所使用的一致性約束條件遠遠不如paxos,raft等高可用的一致性算法.HDFS抽象出了一個日誌接口JournalManager來屏蔽底層對操做日誌存儲的實現細節,目前主要有三種實現:
-
+ JournalManager
-
-FileJournalManager
-
-QuorumJournalManager
-
-BackupJournalManager
FileJournalManager將操做日誌寫入本地文件系統中,QuorumJournalManager將操做日誌寫入QJM中來實現主/備NameNode之間的操做日誌共享,BackupJournalManager將操做日誌實時的推送給backup的NameNode節點.QuorumJournalManager爲了保證性能,採用了異步併發的方式將操做日誌刷入全部的JournalNode節點
配置的HA的HDFS,全部NameSpace的NameNode節點在啓動加載完元數據以後都處於Standby狀態,以後被手動或自動的選擇一個NameNode節點做爲Active節點而開始正常工做.HA的自動方式是經過在每個NameNode的本地啓動一個守護進程ZKFailoverController來競爭Active NameNode的,ZKFailoverController除了爲本地的NameNode爭取Active角色以外,還負責監控本地的NN節點當前是否正常的,一旦它發現本地的NN不正常,要麼主動替當前的Active NN退出Active角色或退出Active的競爭.
DistributedFileSystem的容錯Proxy
HDFS的HA方案並不僅是保證NameNode節點的高可用,還得保證客戶端可以對用戶透明的容忍主/備NameNode節點之間的切換.目前客戶端對HA方案的實現方式主要是經過重試的機制來完成的.
簡述
hadoop 集羣一共有4種部署模式，詳見《hadoop 生態圈介紹》。
HA聯邦模式解決了單純HA模式的性能瓶頸（主要指Namenode、ResourceManager），將整個HA集羣劃分爲兩個以上的集羣，不一樣的集羣之間經過Federation進行鏈接，使得HA集羣擁有了橫向擴展的能力。理論上，在該模式下，可以經過增長計算節點以處理無限增加的數據。聯邦模式下的配置在原HA模式的基礎上作了部分調整。
全部四種模式的部署指南見：
hadoop 僞分佈式搭建指南
hadoop 徹底分佈式搭建指南
hadoop HA高可用集羣模式搭建指南
hadoop HA+Federation（聯邦）模式搭建指南
搭建過程
系統環境
Ubuntu 14.04 x64 Server LTS
Hadoop 2.7.2
vagrant 模擬4臺主機，內存都爲2G
集羣節點規劃
| IP | 主機名 | 角色描述 | 集羣 |
|---|---|---|---|
| 192.168.100.201 | h01.vm.com | namenode-ns1-nn1, zkfc, QuorumPeerMain, resourcemanager | ns1 |
| 192.168.100.202 | h02.vm.com | namenode-ns1-nn2, zkfc, QuorumPeerMain, resourcemanager, journalnode, | ns1 |
| 192.168.100.203 | h03.vm.com | namenode-ns2-nn3, zkfc, QuorumPeerMain, journalnode, nodemanager, datanode | ns2 |
| 192.168.100.204 | h04.vm.com | namenode-ns2-nn4, zkfc, journalnode, nodemanager, datanode | ns2 |
上表中：
- QuorumPeerMain 是zookeeper集羣的入口進程；
- zkfc 是 Zookeeper FailoverController 的簡稱，主要用於實現兩個NN之間的容災。
- resourcemanager 是 yarn 中負責資源協調和管理的進程
- nodemanager 是 yarn 中單個節點上的代理進程，向 RM 彙報信息，監控該節點資源
- datanode 是 hdfs 的工做節點，負責實際的數據存儲和任務計算
- journalnode 是QJM模式下兩個NN節點同步數據的進程，每一個HA集羣裏面的高可用依賴它
- ns1,ns2 是集羣的邏輯名稱
- nn1,nn2, nn3, nn4 是集羣中NN的邏輯名稱
zookeeper 節點須要配置奇數臺，通常配置3-7臺便可。2000多個節點的集羣也僅須要5-9臺zk；journalnode與zk相似，也是配置奇數臺，且最少須要3臺，一樣不須要太多；另外zkfc須要在啓動namenode的節點上也啓動，以保障NN間的心跳機制。
更新軟件源索引
- 分別在 h01 h02 h03 h04 操做
sudo apt-get update
安裝基礎軟件
- 分別在 h01 h02 h03 h04 操做
sudo apt-get install ssh sudo apt-get install rsync
配置主機域名
- 分別在 h01 h02 h03 h04 操做
sudo vim /etc/hostname # centos系統可能沒有該文件，建立便可 h01.vm.com # 該節點主機名
將該文件內容修改成對應的主機名，例如 h01.vm.com
域名解析
- 搭建內網DNS服務器（可選，但推薦），可閱讀vincent的博文
http://blog.kissdata.com/2014/07/10/ubuntu-dns-bind.html - 配置 /etc/hosts，將如下代碼追加到文件末尾便可（如搭建了DNS服務器，則跳過此步驟）
- 分別在 h01 h02 h03 h04 操做
sudo vim /etc/hosts 192.168.100.201 h01.vm.com h01 192.168.100.202 h02.vm.com h02 192.168.100.203 h03.vm.com h03 192.168.100.204 h04.vm.com h04
!!! Ubuntu系統，須刪掉 /etc/hosts 映射 127.0.1.1/127.0.0.1 !!!
Check that there isn't an entry for your hostname mapped to 127.0.0.1 or 127.0.1.1 in /etc/hosts (Ubuntu is notorious for this).
127.0.1.1 h01.vm.com # must remove否則可能會引發 hadoop、zookeeper 節點間通訊的問題
時間同步（生產環境中務必配置）
在內網中搭建 ntp 服務器，可閱讀vincent的博文
http://blog.kissdata.com/2014/10/28/ubuntu-ntp.html
準備jdk、hadoop和zookeeper軟件包
- 須到官方網站下載stable版本
jdk-7u79-linux-x64.tar.gz
hadoop-2.7.2.tar.gz
zookeeper-3.4.8.tar.gz - 全部的軟件包都統一解壓到 /home/vagrant/VMBigData 目錄下，其中 vagrant 是linux系統的用戶名，因爲我是使用 vagrant 虛擬的主機，因此默認是 vagrant
- 在 h01 操做
# 先在其中一臺機子操做，後面會使用 scp 命令或者其餘方法同步到其餘主機 mkdir -p /home/vagrant/VMBigData/hadoop /home/vagrant/VMBigData/java /home/vagrant/VMBigData/zookeeper tar zxf jdk-7u79-linux-x64.tar.gz -C /home/vagrant/VMBigData/java tar zxf hadoop-2.7.2.tar.gz -C /home/vagrant/VMBigData/hadoop tar zxf zookeeper-3.4.8.tar.gz -C /home/vagrant/VMBigData/zookeeper
配置軟鏈接，方便之後升級版本
- 在 h01 操做，後面經過 scp 同步到其餘主機
ln -s /home/vagrant/VMBigData/java/jdk1.7.0_79/ /home/vagrant/VMBigData/java/default ln -s /home/vagrant/VMBigData/hadoop/hadoop-2.7.2/ /home/vagrant/VMBigData/hadoop/default ln -s /home/vagrant/VMBigData/zookeeper/zookeeper-3.4.8/ /home/vagrant/VMBigData/zookeeper/default
配置環境變量
- 分別在 h01 h02 h03 h04 操做
sudo vim /etc/profile
export HADOOP_HOME=/home/vagrant/VMBigData/hadoop/default export JAVA_HOME=/home/vagrant/VMBigData/java/default export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH source /etc/profile
配置免密碼ssh登陸
hadoop主節點須要能遠程登錄集羣內的全部節點（包括本身），以執行命令。因此須要配置免密碼的ssh登錄。可選的ssh祕鑰對生成方式有rsa和dsa兩種，這裏選擇rsa。
- 分別在 h01 h02 h03 h04 ，即4個主節點上操做
ssh-keygen -t rsa -C "youremail@xx.com" # 注意在接下來的命令行交互中，直接按回車跳過輸入密碼
- 分別在 h01 h02 h03 h04 上操做。如下命令將本節點的公鑰 id_rsa.pub 文件的內容追加到遠程主機的 authorized_keys 文件中（默認位於 ~/.ssh/）
ssh-copy-id vagrant@h01.vm.com # vagrant是遠程主機用戶名 ssh-copy-id vagrant@h02.vm.com ssh-copy-id vagrant@h03.vm.com ssh-copy-id vagrant@h04.vm.com
- 在 h01 h02 h03 h04 上測試無密碼 ssh 登陸到 h01 h02 h03 h04
ssh h01.vm.com ssh h02.vm.com ssh h03.vm.com ssh h04.vm.com
!!! 注意使用rsa模式生成密鑰對時，不要輕易覆蓋原來已有的，肯定無影響時方可覆蓋 !!!
配置從節點
在 slaves 文件中配置的主機即爲從節點，將自動運行datanode, nodemanager服務
- 在 h01 操做，後面經過 scp 同步到其餘主機
vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/slaves h03.vm.com h04.vm.com
也能夠在不一樣集羣裏配置不一樣的從節點
創建存儲數據的相應目錄
- 在 h01 操做，後面經過 scp 同步到其餘主機
mkdir -p /home/vagrant/VMBigData/hadoop/data/hdfs/tmp
mkdir -p /home/vagrant/VMBigData/hadoop/data/journal/data
mkdir -p /home/vagrant/VMBigData/hadoop/data/pid
mkdir -p /home/vagrant/VMBigData/hadoop/data/namenode1
mkdir -p /home/vagrant/VMBigData/hadoop/data/namenode2
mkdir -p /home/vagrant/VMBigData/hadoop/data/datanode1
mkdir -p /home/vagrant/VMBigData/hadoop/data/datanode2
mkdir -p /home/vagrant/VMBigData/hadoop/data/local-dirs mkdir -p /home/vagrant/VMBigData/hadoop/data/log-dirs
配置hadoop參數
在 h01 操做，後面經過 scp 同步到其餘主機
- vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/hadoop-env.sh
# export JAVA_HOME=${JAVA_HOME} # 注意註釋掉原來的這行 export JAVA_HOME=/home/vagrant/VMBigData/java/default export HADOOP_PREFIX=/home/vagrant/VMBigData/hadoop/default # export HADOOP_PID_DIR=${HADOOP_PID_DIR} # 注意註釋掉原來的這行 export HADOOP_PID_DIR=/home/vagrant/VMBigData/hadoop/data/hdfs/pid export YARN_PID_DIR=/home/vagrant/VMBigData/hadoop/data/hdfs/pid # export HADOOP_SECURE_DN_PID_DIR=${HADOOP_PID_DIR} # 注意註釋掉原來的這行 export HADOOP_SECURE_DN_PID_DIR=${HADOOP_PID_DIR}
- vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/mapred-env.sh
export HADOOP_MAPRED_PID_DIR=/home/vagrant/VMBigData/hadoop/data/hdfs/pid
- vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/core-site.xml
<?xml version="1.0" encoding="utf-8"?> # <configuration> # 注意此處的修改 <configuration xmlns:xi="http://www.w3.org/2001/XInclude"> <xi:include href="/home/vagrant/VMBigData/hadoop/default/etc/hadoop/cmt.xml" /> # 此處引入federation的額外配置文件 <property> <!-- 指定hdfs的nameservice名稱，在 cmt.xml 文件中會引用。注意此處的修改 --> <name>fs.defaultFS</name> <value>viewfs://nsX</value> </property> <!-- 指定hadoop數據存儲目錄 --> <property> <name>hadoop.tmp.dir</name> <value>/home/vagrant/VMBigData/hadoop/data/hdfs/tmp</value> </property> <property> <!-- 注意此處將該配置項從 hdfs-site.xml 文件中遷移過來了 --> <name>dfs.journalnode.edits.dir</name> <value>/home/vagrant/VMBigData/hadoop/data/journal/data</value> </property> <!-- 指定zookeeper地址 --> <property> <name>ha.zookeeper.quorum</name> <value>h01.vm.com:2181,h02.vm.com:2181,h03.vm.com:2181</value> </property> </configuration>
- vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/cmt.xml
<?xml version="1.0" encoding="utf-8"?> <configuration> <property> <!-- 將 hdfs 的 /view_ns1 目錄掛載到 ns1 的NN下管理，整個federation的不一樣HA集羣也是能夠讀寫此目錄的，可是在指定路徑是須要指定徹底路徑 --> <name>fs.viewfs.mounttable.nsX.link./view_ns1</name> <value>hdfs://ns1</value> </property> <property> <name>fs.viewfs.mounttable.nsX.link./view_ns2</name> <value>hdfs://ns2</value> </property> <property> <!-- 指定 /tmp 目錄，許多依賴hdfs的組件可能會用到此目錄 --> <name>fs.viewfs.mounttable.nsX.link./tmp</name> <value>hdfs://ns1/tmp</value> </property> </configuration>
- vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/hdfs-site.xml
<?xml version="1.0" encoding="utf-8"?> <!-- HDFS-HA 配置 --> <configuration> <property> <!-- 由於集羣規劃中只配置了2各datanode節點，因此此處只能設置小於2，由於hadoop默認不容許將不一樣的副本存放到相同的節點上 --> <name>dfs.replication</name> <value>2</value> </property> <property> <!-- 白名單：僅容許如下datanode鏈接到NN，一行一個，也能夠指定一個文件 --> <name>dfs.hosts</name> <value> <!-- ~/VMBigData/hadoop/default/etc/hadoop/hosts.allow --> h01.vm.com h02.vm.com h03.vm.com h04.vm.com </value> </property> <property> <!-- 黑名單：不容許如下datanode鏈接到NN，一行一個，也能夠指定一個文件 --> <name>dfs.hosts.exclude</name> <value></value> </property> <property> <!-- 集羣的命名空間、邏輯名稱，可配置多個，可是與 cmt.xml 配置對應 --> <name>dfs.nameservices</name> <value>ns1,ns2</value> </property> <property> <!-- 命名空間中全部NameNode的惟一標示。該標識指示集羣中有哪些NameNode。目前單個集羣最多隻能配置兩個NameNode --> <name>dfs.ha.namenodes.ns1</name> <value>nn1,nn2</value> </property> <property> <name>dfs.ha.namenodes.ns2</name> <value>nn3,nn4</value> </property> <property> <name>dfs.namenode.rpc-address.ns1.nn1</name> <value>h01.vm.com:9000</value> </property> <property> <name>dfs.namenode.http-address.ns1.nn1</name> <value>h01.vm.com:50070</value> </property> <property> <name>dfs.namenode.rpc-address.ns1.nn2</name> <value>h02.vm.com:9000</value> </property> <property> <name>dfs.namenode.http-address.ns1.nn2</name> <value>h02.vm.com:50070</value> </property> <property> <name>dfs.namenode.rpc-address.ns2.nn3</name> <value>h03.vm.com:9000</value> </property> <property> <name>dfs.namenode.http-address.ns2.nn3</name> <value>h03.vm.com:50070</value> </property> <property> <name>dfs.namenode.rpc-address.ns2.nn4</name> <value>h04.vm.com:9000</value> </property> <property> <name>dfs.namenode.http-address.ns2.nn4</name> <value>h04.vm.com:50070</value> </property> <property> <!-- JournalNode URLs，ActiveNameNode 會將 Edit Log 寫入這些 JournalNode 所配置的本地目錄即 dfs.journalnode.edits.dir --> <name>dfs.namenode.shared.edits.dir</name> <!-- 注意此處的ns1，當配置文件所在節點處於ns1集羣時，此處爲ns1，當處於ns2集羣時，此處爲ns2 --> <value>qjournal://h02.vm.com:8485;h03.vm.com:8485;h04.vm.com:8485/ns1</value> </property> <!-- JournalNode 用於存放 editlog 和其餘狀態信息的目錄 --> <property> <name>dfs.journalnode.edits.dir</name> <value>/home/vagrant/VMBigData/hadoop/data/journal</value> </property> <property> <name>dfs.ha.automatic-failover.enabled</name> <value>true</value> </property> <property> <name>dfs.client.failover.proxy.provider.ns1</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> </property> <property> <name>dfs.client.failover.proxy.provider.ns2</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> </property> <!-- 一種關於 NameNode 的隔離機制(fencing) -->