hadoop2.2.0集羣的HA高可靠的最簡單配置

時間 2019-11-10

標籤 hadoop2.2.0 hadoop 集羣可靠最簡單配置欄目 Hadoop 简体版

原文原文鏈接

hadoop中的NameNode比如是人的心臟，很是重要，絕對不能夠中止工做。在hadoop1時代，只有一個NameNode。若是該NameNode數據丟失或者不能工做，那麼整個集羣就不能恢復了。這是hadoop1中的單點問題，也是hadoop1不可靠的表現，如圖1所示。hadoop2就解決了這個問題。html

圖1java

hadoop2.2.0中HDFS的高可靠指的是能夠同時啓動2個NameNode。其中一個處於工做狀態，另外一個處於隨時待命狀態。這樣，當一個NameNode所在的服務器宕機時，能夠在數據不丟失的狀況下，手工或者自動切換到另外一個NameNode提供服務。node

這些NameNode之間經過共享數據，保證數據的狀態一致。多個NameNode之間共享數據，能夠經過Nnetwork File System或者Quorum Journal Node。前者是經過linux共享的文件系統，屬於操做系統的配置；後者是hadoop自身的東西，屬於軟件的配置。linux

咱們這裏講述使用Quorum Journal Node的配置方式，方式是手工切換。web

集羣啓動時，能夠同時啓動2個NameNode。這些NameNode只有一個是active的，另外一個屬於standby狀態。active狀態意味着提供服務，standby狀態意味着處於休眠狀態，只進行數據同步，時刻準備着提供服務，如圖2所示。shell

圖2apache

架構

在一個典型的HA集羣中，每一個NameNode是一臺獨立的服務器。在任一時刻，只有一個NameNode處於active狀態，另外一個處於standby狀態。其中，active狀態的NameNode負責全部的客戶端操做，standby狀態的NameNode處於從屬地位，維護着數據狀態，隨時準備切換。bootstrap

兩個NameNode爲了數據同步，會經過一組稱做JournalNodes的獨立進程進行相互通訊。當active狀態的NameNode的命名空間有任何修改時，會告知大部分的JournalNodes進程。standby狀態的NameNode有能力讀取JNs中的變動信息，而且一直監控edit log的變化，把變化應用於本身的命名空間。standby能夠確保在集羣出錯時，命名空間狀態已經徹底同步了，如圖3所示。瀏覽器

圖3安全

爲了確保快速切換，standby狀態的NameNode有必要知道集羣中全部數據塊的位置。爲了作到這點，全部的datanodes必須配置兩個NameNode的地址，發送數據塊位置信息和心跳給他們兩個。

對於HA集羣而言，確保同一時刻只有一個NameNode處於active狀態是相當重要的。不然，兩個NameNode的數據狀態就會產生分歧，可能丟失數據，或者產生錯誤的結果。爲了保證這點，JNs必須確保同一時刻只有一個NameNode能夠向本身寫數據。

硬件資源

爲了部署HA集羣，應該準備如下事情：

* NameNode服務器：運行NameNode的服務器應該有相同的硬件配置。

* JournalNode服務器：運行的JournalNode進程很是輕量，能夠部署在其餘的服務器上。注意：必須容許至少3個節點。固然能夠運行更多，可是必須是奇數個，如三、五、七、9個等等。當運行N個節點時，系統能夠容忍至少(N-1)/2個節點失敗而不影響正常運行。

在HA集羣中，standby狀態的NameNode能夠完成checkpoint操做，所以不必配置Secondary NameNode、CheckpointNode、BackupNode。若是真的配置了，還會報錯。

配置

HA集羣須要使用nameservice ID區分一個HDFS集羣。另外，HA中還要使用一個詞，叫作NameNode ID。同一個集羣中的不一樣NameNode，使用不一樣的NameNode ID區分。爲了支持全部NameNode使用相同的配置文件，所以在配置參數中，須要把「nameservice ID」做爲NameNode ID的前綴。

HA配置內容是在文件hdfs-site.xml中的。下面介紹關鍵配置項。

dfs.nameservices 命名空間的邏輯名稱。若是使用HDFS Federation，能夠配置多個命名空間的名稱，使用逗號分開便可。

 
      1 
      <property> 
     
      2 
        <name>dfs.nameservices</name> 
     
      3 
        <value>mycluster</value> 
     
      4 
      </property>

dfs.ha.namenodes.[nameservice ID] 命名空間中全部NameNode的惟一標示名稱。能夠配置多個，使用逗號分隔。該名稱是可讓DataNode知道每一個集羣的全部NameNode。當前，每一個集羣最多隻能配置兩個NameNode。

 
      1 
      <property> 
     
      2 
        <name>dfs.ha.namenodes.mycluster</name> 
     
      3 
        <value>nn1,nn2</value> 
     
      4 
      </property>

dfs.namenode.rpc-address.[nameservice ID].[name node ID] 每一個namenode監聽的RPC地址。以下所示

 
      1 
      <property> 
     
      2 
        <name>dfs.namenode.rpc-address.mycluster.nn1</name> 
     
      3 
        <value>machine1.example.com:8020</value> 
     
      4 
      </property> 
     
      5 
      <property> 
     
      6 
        <name>dfs.namenode.rpc-address.mycluster.nn2</name> 
     
      7 
        <value>machine2.example.com:8020</value> 
     
      8 
      </property>

dfs.namenode.http-address.[nameservice ID].[name node ID] 每一個namenode監聽的http地址。以下所示

 
      1 
      <property> 
     
      2 
        <name>dfs.namenode.http-address.mycluster.nn1</name> 
     
      3 
        <value>machine1.example.com:50070</value> 
     
      4 
      </property> 
     
      5 
      <property> 
     
      6 
        <name>dfs.namenode.http-address.mycluster.nn2</name> 
     
      7 
        <value>machine2.example.com:50070</value> 
     
      8 
      </property>

若是啓用了安全策略，也應該對每一個namenode配置htts-address信息，與此相似。

dfs.namenode.shared.edits.dir 這是NameNode讀寫JNs組的uri。經過這個uri，NameNodes能夠讀寫edit log內容。URI的格式"qjournal://host1:port1;host2:port2;host3:port3/journalId"。這裏的host一、host二、host3指的是Journal Node的地址，這裏必須是奇數個，至少3個；其中journalId是集羣的惟一標識符，對於多個聯邦命名空間，也使用同一個journalId。配置以下

 
      1 
      <property> 
     
      2 
        <name>dfs.namenode.shared.edits.dir</name> 
     
      3 
        <value>qjournal://node1.example.com:8485;node2.example.com:8485;node3.example.com:8485/mycluster</value> 
     
      4 
      </property>

`1`	`<strong><span style="color: rgb(0, 0, 0); font-family: 微軟雅黑;">dfs.client.failover.proxy.provider.[nameservice ID]</span></strong> 這裏配置HDFS客戶端鏈接到Active NameNode的一個java類。`

 
      1 
      <property> 
     
      2 
        <name>dfs.client.failover.proxy.provider.mycluster</name> 
     
      3 
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> 
     
      4 
      </property>

`1`	`<strong><span style="font-family: 微軟雅黑;">dfs.ha.fencing.methods</span> </strong>配置active namenode出錯時的處理類。當active namenode出錯時，通常須要關閉該進程。處理方式能夠是ssh也能夠是shell。`

`1`	`若是使用ssh，配置以下`

 
      1 
      <property> 
     
      2 
        <name>dfs.ha.fencing.methods</name> 
     
      3 
        <value>sshfence</value> 
     
      4 
      </property> 
     
      5 
        
      6 
      <property> 
     
      7 
        <name>dfs.ha.fencing.ssh.private-key-files</name> 
     
      8 
        <value>/home/exampleuser/.ssh/id_rsa</value> 
     
      9 
      </property>

這種方法配置簡單，推薦使用。

`1`	`<strong><span style="font-family: 微軟雅黑;">fs.defaultFS</span></strong> 客戶端鏈接HDFS時，默認的路徑前綴。若是前面配置了nameservice ID的值是mycluster，那麼這裏能夠配置爲受權信息的一部分。`

`1`	`能夠在core-site.xml中配置以下`

 
      1 
      <property> 
     
      2 
        <name>fs.defaultFS</name> 
     
      3 
        <value>hdfs://mycluster</value> 
     
      4 
      </property>

`1`	`<strong><span style="font-family: 微軟雅黑;">dfs.journalnode.edits.dir</span></strong> 這是JournalNode進程保持邏輯狀態的路徑。這是在linux服務器文件的絕對路徑。`

1 配置以下

 
      1 
      <property> 
     
      2 
        <name>dfs.journalnode.edits.dir</name> 
     
      3 
        <value>/path/to/journal/node/local/data</value> 
     
      4 
      </property>

部署

以上配置完成後，就能夠啓動JournalNode進程了。在各個JournalNode機器上執行命令「hadoop-daemon.sh journalnode」。

若是是一個新的HDFS集羣，還要首先執行格式化命令「hdfs namenode -format」，緊接着啓動本NameNode進程。

若是存在一個已經格式化過的NameNode，而且已經啓動了。那麼應該把該NameNode的數據同步到另外一個沒有格式化的NameNode。在未格式化過的NameNode上執行命令「hdfs namenode -bootstrapStandby」。

若是是把一個非HA集羣轉成HA集羣，應該運行命令「hdfs –initializeSharedEdits」，這會初始化JournalNode中的數據。

作了這些事情後，就能夠啓動兩個NameNode了。啓動成功後，經過web頁面觀察兩個NameNode的狀態，都是standby。

下面執行命令「hdfs haadmin -failover --forcefence serviceId serviceId2」。就會把NameNode的狀態進行安全的切換。其中後面一個會變爲active狀態。這時候再經過web頁面觀察就能看到正確結果了。

管理員命令

執行命令「hdfs haadmin」，會顯示子命令列表，以下

 
      1 
      Usage: DFSHAAdmin [-ns <nameserviceId>] 
     
      2 
          [-transitionToActive <serviceId>] 
     
      3 
          [-transitionToStandby <serviceId>] 
     
      4 
          [-failover [--forcefence] [--forceactive] <serviceId> <serviceId>] 
     
      5 
          [-getServiceState <serviceId>] 
     
      6 
          [-checkHealth <serviceId>] 
     
      7 
          [-help <command>]

`1`	`若是要查看具體用法，使用「hdfs haadmin -help <command>」。其中，`

`1`	`<strong><span style="font-family: 微軟雅黑;">transitionToActive</span></strong>和<strong><span style="font-family: 微軟雅黑;">transitionToStandby</span></strong>是用於在不一樣狀態之間切換的。這些命令沒有任何防禦錯誤，不多使用。`

`1`	`<strong><span style="font-family: 微軟雅黑;">failover</span></strong> 初始化一個故障恢復。該命令會從一個失效的NameNode切換到另外一個上面。`

`1`	`<strong><span style="font-family: 微軟雅黑;">getServiceState</span></strong> 獲取當前NameNode的狀態。`

`1`	`<strong><span style="font-family: 微軟雅黑;">checkHealth</span></strong> 檢查NameNode的狀態。正常就返回0，不然返回非0值。`

如下是個人詳細安裝過程描述：

1.肯定集羣結構

我這裏採用 5臺虛擬機，內存是512MB，硬盤是20GB，如下是我對這5臺機器的角色分配。

ip地址	主機名	NameNode	JournalNode	DataNode
192.168.80.100	hadoop100	是	是	否
192.168.80.101	hadoop101	是	是	否
192.168.80.102	hadoop102	否	是	是
192.168.80.103	hadoop103	否	否	是
192.168.80.104	hadoop104	否	否	是

2.設置linux、安裝jdk

首先在VMWare中安裝一臺虛擬機，設置ssh免密碼登陸、設置靜態ip爲192.168.80.100、設置主機名爲hadoop100、編輯/etc/hosts文件、安裝jdk等，這些內容參考做者前面的文章。再也不累述。

而後修改hadoop的配置文件，下面重點描述。

2.1 編輯文件$HADOOP_HOME/etc/hadoop/hadoop-env.sh，修改一行內容以下

export JAVA_HOME=/usr/local/jdk

把這裏的JAVA_HOME前面的#去掉，把值改成本身安裝的jdk路徑；

2.2 編輯文件$HADOOP_HOME/etc/hadoop/core-site.xml，修改內容以下所示

<name>hadoop.tmp.dir</name>

<value>/usr/local/hadoop/tmp</value>

</property>

<name>fs.default.name</name>

<value>hdfs://hadoop100:9000</value>

</property>

</configuration>

以上配置中，name是hadoop.tmp.dir的值表示hadoop存放數據的目錄，即包括NameNode的數據，也包括DataNode的數據。該路徑任意指定，只要實際存在該文件夾便可。

name是fs.defaultFS的值表示hdfs路徑的邏輯名稱。由於咱們會啓動2個NameNode，每一個NameNode的位置不同，那麼切換後，用戶也要修改代碼，很麻煩，所以使用一個邏輯路徑，用戶就能夠沒必要擔憂NameNode切換帶來的路徑不一致問題了。

2.3 編輯文件$HADOOP_HOME/etc/hadoop/hdfs-site.xml，修改內容以下所示
<configuration>

<name>dfs.replication</name>

</property>

<name>dfs.nameservices</name>

<value>cluster1</value>

</property>

<name>dfs.ha.namenodes.cluster1</name>

<value>hadoop100,hadoop101</value>

</property>

<name>dfs.namenode.rpc-address.cluster1.hadoop100</name>

<value>hadoop100:9000</value>

</property>

<name>dfs.namenode.rpc-address.cluster1.hadoop101</name>

<value>hadoop101:9000</value>

</property>

<name>dfs.namenode.http-address.cluster1.hadoop100</name>

<value>hadoop100:50070</value>

</property>

<name>dfs.namenode.http-address.cluster1.hadoop101</name>

<value>hadoop101:50070</value>

</property>

<name>dfs.namenode.shared.edits.dir</name>

<value>qjournal://hadoop100:8485;hadoop101:8485;hadoop102:84

85/cluster1</value>

</property>

<name>dfs.client.failover.proxy.provider.cluster1</name>

<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredF

ailoverProxyProvider</value>

</property>

<name>dfs.ha.fencing.methods</name>

<value>sshfence</value>

</property>

<name>dfs.ha.fencing.ssh.private-key-files</name>

</property>

<name>dfs.journalnode.edits.dir</name>

<value>/usr/local/hadoop/tmp/journal</value>

</property>

</configuration>

以上配置信息在前面的描述中已經作了解釋。

2.4 編輯文件$HADOOP_HOME/etc/hadoop/slaves，修改內容以下所示

hadoop102

hadoop103

hadoop104

表示以上三個節點做爲DataNode節點。

3.使用虛擬機再複製出4個虛擬機。把ip和主機名修改一下，同時修改/etc/hosts文件。在這裏要確保5個節點之間互相均可以使用ssh免密碼登陸。

4.執行命令啓動集羣

如下命令嚴格注意執行順序，不能顛倒！

4.1 啓動JournalNode集羣

在hadoop100、hadoop10一、hadoop102上，執行命令 hadoop-daemon.sh start journalnode

4.2 格式化一個NameNode

在hadoop100執行命令 hdfs namenode –format

4.3 啓動一個NameNode

在hadoop100執行命令 hadoop-daemon.sh start namenode

4.4 格式化另外一個NameNode

在hadoop101執行命令 hdfs namenode -bootstrapStandby

4.5 啓動另外一個NameNode

在hadoop101執行命令 hadoop-daemon.sh start namenode

這時候，使用瀏覽器訪問 http://hadoop100:50070 和 http://hadoop101:50070 。若是可以看到兩個頁面，證實NameNode啓動成功了。這時，兩個NameNode的狀態都是standby。

4.6 轉換active

在hadoop100執行命令 hdfs haadmin -transitionToActive hadoop100

再使用瀏覽器訪問 http://hadoop100:50070 和 http://hadoop101:50070，會發現hadoop100節點變爲active，hadoop101仍是standby。

4.7 啓動DataNodes

在hadoop100執行命令 hadoop-daemons.sh start datanode 會啓動3個DataNode節點。

這時候HA集羣就啓動了。

你若是想實驗一下NameNode切換，執行命令 hdfs haadmin –failover –forceactive hadoop100 hadoop101

這時候觀察hadoop100和hadoop101的狀態，就會發現，已經改變了。

若是向上傳數據，還須要修改core-site.xml中的fs.default.name的值，改成hdfs://hadoop101:9000 才行。

相關標籤/搜索

每日一句

每一个你不满意的现在，都有一个你没有努力的曾经。