HDFS的namenode從單節點擴展爲HA須要注意的問題

擴展爲HA須要注意的問題

原Namenode稱爲namenode1，新增的Namenode稱爲namenode2.

從namenode單節點擴展爲HA模式官網上有詳細的教程，下面是擴展過程當中疏忽的地方。

• namenode2部署後須要複製namenode1格式化好的數據，就是namenode1部署的時候，經過hdfs namenode -format生成的數據。

• journalnode部署好後，也須要格式化數據。格式化方式爲：journalnode啓動以後，在namenode執行hdfs namenode -bootstrapStandby來初始化journalnode，namenode不能是在運行狀態，不然會報數據被鎖定的異常。

  而後執行hadoop/bin/hdfs haadmin -transitionToActive nn1手動吧nn1切換成active節點。

下面是簡寫的筆記，按照我的知識基礎寫的，建議部署過程參照官網。

HA 原理

hadoop能夠經過nfs和quorum journal manager(QJM)實現。

經過QJM共享edit log。

當主節點掛了，備從edit log迅速成爲主節點。

架構

HA 集羣中有一個namenode是Active ，另外一個是Standby。

部署Standby的時候，把Active節點上格式化好的數據拷貝到Standby。

要佈署HA，須要準備一下內容：

• Namenode: 主節點和備節點。
• JournalNode：JournalNode是輕量級的，因此JournalNode能夠佈署在其餘的Hadoop機器上，好比job tracker或者yarn RecourceManager。注意：必須至少三個JournalNode，這種結構容許系統有一個節點故障。能夠大於單臺，可是要增長容許故障節點的數量，journalnode的數量必須時奇數。由於系統健康情況的最低標準爲（n/2）+1 個。因此三個節點只容許一臺掛掉，4個節點也容許1臺掛掉。

HA配置

參數說明

hdfs-site.xml

dfs.nameservices 用於標識集羣

<property>
  <name>dfs.nameservices</name>
  <value>mycluster</value>
</property>

dfs.ha.namenodes.[nameservice ID] 集羣mycluster的namenode成員

<property>
  <name>dfs.ha.namenodes.mycluster</name>
  <value>nn1,nn2</value>
</property>

dfs.namenode.rpc-address.[nameservice ID].[name node ID]

<property>
  <name>dfs.namenode.rpc-address.mycluster.nn1</name>
  <value>machine1.example.com:8020</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn2</name>
  <value>machine2.example.com:8020</value>
</property>

dfs.namenode.http-address.[nameservice ID].[name node ID]

<property>
  <name>dfs.namenode.http-address.mycluster.nn1</name>
  <value>machine1.example.com:50070</value>
</property>
<property>
  <name>dfs.namenode.http-address.mycluster.nn2</name>
  <value>machine2.example.com:50070</value>
</property>

dfs.namenode.shared.edits.dir 配置edits共享地址，journalnode的地址。

mycluster是nameservice ID

<property>
  <name>dfs.namenode.shared.edits.dir</name>
  <value>qjournal://node1.example.com:8485;node2.example.com:8485;node3.example.com:8485/mycluster</value>
</property>

dfs.client.failover.proxy.provider.[nameservice ID] 客戶端用來鏈接avtive namenode的類。

<property>
  <name>dfs.client.failover.proxy.provider.mycluster</name>
  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

dfs.ha.fencing.methods 再故障轉移時的一種保護機制。Hadoop可使用shell和sshfence的方式。

sshfence參數遠程鏈接到目標節點殺死進程。

<property>
      <name>dfs.ha.fencing.methods</name>
      <value>sshfence</value>
    </property>

    <property>
      <name>dfs.ha.fencing.ssh.private-key-files</name>
      <value>/home/exampleuser/.ssh/id_rsa</value>
    </property>

shell 可使用的變量

$target_host	hostname of the node to be fenced
$target_port	IPC port of the node to be fenced
$target_address	the above two, combined as host:port
$target_nameserviceid	the nameservice ID of the NN to be fenced
$target_namenodeid	the namenode ID of the NN to be fenced

<property>
      <name>dfs.ha.fencing.methods</name>
      <value>shell(/path/to/my/script.sh --nameservice=$target_nameserviceid $target_host:$target_port)</value>
    </property>

core-site.xml

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://mycluster</value>
</property>

dfs.journalnode.edits.dir journalnode保存edits的路徑

JournalNode的配置

<property>
  <name>dfs.journalnode.edits.dir</name>
  <value>/path/to/journal/node/local/data</value>
</property>

JournalNode

上面是配置，啓動方式爲：

hadoop-2.9.2/sbin/hadoop-daemon.sh --config /opt/hadoop-2.9.2/etc/hadoop --script hdfs start journalnode

journalnode啓動以後在namenode執行hdfs namenode -bootstrapStandby來初始化journalnode

而後執行hadoop/bin/hdfs haadmin -transitionToActive nn1手動吧nn1切換成active節點。

namenode|secondarynamenode|datanode|journalnode|dfs|dfsadmin|fsck|balancer|zkfc|portmap|nfs3|dfsrouter

自動故障轉移

上面的配置只能使用手動轉移。

zookeeper佈署

namenode

core-site.xml

<configuration>
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://ns1</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/modules/App/hadoop-2.5.0/data/tmp</value>
</property>
<property>
    <name>hadoop.http.staticuser.user</name>
    <value>beifeng</value>
</property>
<property>
    <name>ha.zookeeper.quorum</name>
    <value>bigdata-01:2181,bigdata-02:2181,bigdata-03:2181</value>
</property>
</configuration>

hdfs-site.xml

<configuration>
<property>
    <name>dfs.replication</name>
    <value>3</value>
</property>
property>
    <name>dfs.permissions.enabled</name>
    <value>false</value>
</property>
<property>
    <name>dfs.nameservices</name>
    <value>ns1</value>
</property>
<property>
    <name>dfs.blocksize</name>
    <value>134217728</value>
</property>
<property>
    <name>dfs.ha.namenodes.ns1</name>
    <value>nn1,nn2</value>
</property>
<!-- nn1的RPC通訊地址，nn1所在地址  -->
<property>
    <name>dfs.namenode.rpc-address.ns1.nn1</name>
    <value>bigdata-01:8020</value>
</property>
<!-- nn1的http通訊地址，外部訪問地址 -->
<property>
    <name>dfs.namenode.http-address.ns1.nn1</name>
    <value>bigdata-01:50070</value>
</property>
<!-- nn2的RPC通訊地址，nn2所在地址 -->
<property>
    <name>dfs.namenode.rpc-address.ns1.nn2</name>
    <value>bigdata-02:8020</value>
</property>
<!-- nn2的http通訊地址，外部訪問地址 -->
<property>
    <name>dfs.namenode.http-address.ns1.nn2</name>
    <value>bigdata-02:50070</value>
</property>
<!-- 指定NameNode的元數據在JournalNode日誌上的存放位置(通常和zookeeper部署在一塊兒) -->
<property>
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://bigdata-01:8485;bigdata-02:8485;bigdata-03:8485/ns1</value>
</property>
<!-- 指定JournalNode在本地磁盤存放數據的位置 -->
<property>
    <name>dfs.journalnode.edits.dir</name>
    <value>/opt/modules/App/hadoop-2.5.0/data/journal</value>
</property>
<!--客戶端經過代理訪問namenode，訪問文件系統，HDFS 客戶端與Active 節點通訊的Java 類，使用其肯定Active 節點是否活躍  -->
<property>
    <name>dfs.client.failover.proxy.provider.ns1</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!--這是配置自動切換的方法，有多種使用方法，具體能夠看官網，在文末會給地址，這裏是遠程登陸殺死的方法  -->
<property>
    <name>dfs.ha.fencing.methods</name>
    <value>sshfence</value>     ----這個參數的值能夠有多種，你也能夠換成shell(/bin/true)試試，也是能夠的，這個腳本do nothing 返回0
</property>
<!-- 這個是使用sshfence隔離機制時才須要配置ssh免登錄 -->
<property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/home/beifeng/.ssh/id_rsa</value>
</property>
<!-- 配置sshfence隔離機制超時時間，這個屬性同上，若是你是用腳本的方法切換，這個應該是能夠不配置的 -->
<property>
    <name>dfs.ha.fencing.ssh.connect-timeout</name>
    <value>30000</value>
</property>
<!-- 這個是開啓自動故障轉移，若是你沒有自動故障轉移，這個能夠先不配 -->
<property>
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
</property>
</configuration>

mapred-site.xml

<configuration>
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>bigdata-01:10020</value>
</property>
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>bigdata-01:19888</value>
</property>
</configuration>

yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>bigdata-03</value>
    </property>
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
        <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>106800</value>
    </property>
</configuration>