Hadoop 2.6.0 HA高可用集羣配置詳解（二）

時間  2019-11-16
標籤 hadoop 2.6.0 可用 集羣 配置 詳解 欄目 Hadoop 简体版
原文   原文鏈接

Zookeeper集羣安裝html

Zookeeper是一個開源分佈式協調服務，其獨特的Leader-Follower集羣結構，很好的解決了分佈式單點問題。目前主要用於諸如：統一命名服務、配置管理、鎖服務、集羣管理等場景。大數據應用中主要使用Zookeeper的集羣管理功能。java

本集羣使用zookeeper-3.4.5-cdh5.7.1版本。首先在Hadoop-slave1節點安裝Zookeeper，方法以下：node

// 新建目錄

$ mkdir app/cdh

// 解壓zookeeper安裝包

$ tar -xvf zookeeper-3.4.5-cdh5.7.1.tar.gz -C app/cdh/

// 刪除安裝包

$ rm -rf zookeeper-3.4.5-cdh5.7.1.tar.gz

// 配置用戶環境變量

$ vim .bash_profile

export ZOOKEEPER_HOME=/home/hadoop/app/cdh/zookeeper-3.4.5-cdh5.7.1

export PATH=$PATH:$ZOOKEEPER_HOME/bin

// 使修改的環境變量生效

$ source.bash_profile

// 修改zookeeper的配置文件

$ cd app/cdh/zookeeper-3.4.5-cdh5.7.1/conf/

$ cp zoo_sample.cfg zoo.cfg

$ vim zoo.cfg

# 客戶端心跳時間(毫秒)

tickTime=2000

# 容許心跳間隔的最大時間

initLimit=10

# 同步時限

syncLimit=5

# 數據存儲目錄

dataDir=/home/hadoop/app/cdh/zookeeper-3.4.5-cdh5.7.1/data

# 數據日誌存儲目錄

dataLogDir=/home/hadoop/app/cdh/zookeeper-3.4.5-cdh5.7.1/data/log

# 端口號

clientPort=2181

# 集羣節點和服務端口配置

server.1=hadoop-slave1:2888:3888

server.2=hadoop-slave2:2888:3888

server.3=hadoop-slave3:2888:3888

# 如下爲優化配置

# 服務器最大鏈接數，默認爲10，改成0表示無限制

maxClientCnxns=0

# 快照數

autopurge.snapRetainCount=3

# 快照清理時間，默認爲0

autopurge.purgeInterval=1

// 建立zookeeper的數據存儲目錄和日誌存儲目錄

$ cd ..

$ mkdir -p data/log

// 在data目錄中建立一個文件myid，輸入內容爲1

$ echo "1" >> data/myid

// 修改zookeeper的日誌輸出路徑(注意CDH版與原生版配置文件不一樣)

$ vim libexec/zkEnv.sh

if [ "x${ZOO_LOG_DIR}" = "x" ]

then

   ZOO_LOG_DIR="$ZOOKEEPER_HOME/logs"

fi

if [ "x${ZOO_LOG4J_PROP}" = "x" ]

then

   ZOO_LOG4J_PROP="INFO,ROLLINGFILE"

fi

// 修改zookeeper的日誌配置文件

$ vim conf/log4j.properties

zookeeper.root.logger=INFO,ROLLINGFILE

// 建立日誌目錄

$ mkdir logs

將hadoop-slave1節點上的Zookeeper目錄同步到hadoop-slave2和hadoop-slave3節點，並修改Zookeeper的數據文件。此外，不要忘記設置用戶環境變量。

// 在hadoop-slave1中將zookeeper目錄複製到其它節點

$ cd ~

$ scp -r app/cdh/zookeeper-3.4.5-cdh5.7.1hadoop-slave2:/home/hadoop/app/cdh

$ scp -r app/cdh/zookeeper-3.4.5-cdh5.7.1 hadoop-slave3:/home/hadoop/app/cdh

//在hadoop-slave2中修改data目錄中的myid文件

$ echo "2" >app/cdh/zookeeper-3.4.5-cdh5.7.1/data/myid

//在hadoop-slave3中修改data目錄中的myid文件

$ echo "3" >app/cdh/zookeeper-3.4.5-cdh5.7.1/data/myid

最後，在安裝了Zookeeper的各節點上啓動Zookeeper，並查看節點狀態，方法以下：

// 啓動

$ zkServer.sh start

// 查看狀態

$ zkServer.sh status

// 關閉

$ zkServer.sh stop

Hadoop HA配置linux

// 在hadoop-master1節點解壓hadoop安裝包
$ tar-xvf hadoop-2.6.0-cdh5.7.1.tar.gz -C /home/hadoop/app/cdh/

// 刪除安裝包
$ rmhadoop-2.6.0-cdh5.7.1.tar.gz

// 修改hadoop-env.sh文件
$ cd/home/hadoop/app/cdh/hadoop-2.6.0-cdh5.7.1/etc/hadoop

$ vimhadoop-env.sh
exportJAVA_HOME=/home/hadoop/app/jdk1.7.0_79
// 配置core-site.xml文件
$ vim core-site.xml

<configuration>
  <!-- 指定hdfs的nameservices名稱爲mycluster，與hdfs-site.xml的HA配置相同 -->
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://mycluster</value>
  </property>
	
  <!-- 指定緩存文件存儲的路徑 -->
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/home/hadoop/app/cdh/hadoop-2.6.0-cdh5.7.1/data/tmp</value>
  </property>

  <!-- 配置hdfs文件被永久刪除前保留的時間（單位：分鐘），默認值爲0代表垃圾回收站功能關閉 -->
  <property>
    <name>fs.trash.interval</name>
    <value>1440</value>
  </property>
  
  <!-- 指定zookeeper地址，配置HA時須要 -->
  <property>
    <name>ha.zookeeper.quorum</name>
    <value>hadoop-slave1:2181,hadoop-slave2:2181,hadoop-slave3:2181</value>
  </property>
</configuration>
// 配置hdfs-site.xml文件
$ vim hdfs-site.xml

<configuration>
  <!-- 指定hdfs元數據存儲的路徑 -->
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/home/hadoop/app/cdh/hadoop-2.6.0-cdh5.7.1/data/namenode</value>
  </property>

  <!-- 指定hdfs數據存儲的路徑 -->
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/home/hadoop/app/cdh/hadoop-2.6.0-cdh5.7.1/data/datanode</value>
  </property>
  
  <!-- 數據備份的個數 -->
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>

  <!-- 關閉權限驗證 -->
  <property>
    <name>dfs.permissions.enabled</name>
    <value>false</value>
  </property>
  
  <!-- 開啓WebHDFS功能（基於REST的接口服務） -->
  <property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
  </property>
  
  <!-- //////////////如下爲HDFS HA的配置////////////// -->
  <!-- 指定hdfs的nameservices名稱爲mycluster -->
  <property>
    <name>dfs.nameservices</name>
    <value>mycluster</value>
  </property>

  <!-- 指定mycluster的兩個namenode的名稱分別爲nn1,nn2 -->
  <property>
    <name>dfs.ha.namenodes.mycluster</name>
    <value>nn1,nn2</value>
  </property>

  <!-- 配置nn1,nn2的rpc通訊端口 -->
  <property>
    <name>dfs.namenode.rpc-address.mycluster.nn1</name>
    <value>hadoop-master1:8020</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.mycluster.nn2</name>
    <value>hadoop-master2:8020</value>
  </property>

  <!-- 配置nn1,nn2的http通訊端口 -->
  <property>
    <name>dfs.namenode.http-address.mycluster.nn1</name>
    <value>hadoop-master1:50070</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.mycluster.nn2</name>
    <value>hadoop-master2:50070</value>
  </property>

  <!-- 指定namenode元數據存儲在journalnode中的路徑 -->
  <property>
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://hadoop-slave1:8485;hadoop-slave2:8485;hadoop-slave3:8485/mycluster</value>
  </property>
  
  <!-- 指定journalnode日誌文件存儲的路徑 -->
  <property>
    <name>dfs.journalnode.edits.dir</name>
    <value>/home/hadoop/app/cdh/hadoop-2.6.0-cdh5.7.1/data/journal</value>
  </property>

  <!-- 指定HDFS客戶端鏈接active namenode的java類 -->
  <property>
    <name>dfs.client.failover.proxy.provider.mycluster</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  </property>

  <!-- 配置隔離機制爲ssh -->
  <property>
    <name>dfs.ha.fencing.methods</name>
    <value>sshfence</value>
  </property>

  <!-- 指定祕鑰的位置 -->
  <property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/home/hadoop/.ssh/id_rsa</value>
  </property>
  
  <!-- 開啓自動故障轉移 -->
  <property>
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
  </property>
</configuration>
// 配置mapred-site.xml文件
$ vim mapred-site.xml

<configuration>
  <!-- 指定MapReduce計算框架使用YARN -->
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>

  <!-- 指定jobhistory server的rpc地址 -->
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop-master1:10020</value>
  </property>

  <!-- 指定jobhistory server的http地址 -->
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop-master1:19888</value>
  </property>

  <!-- 開啓uber模式（針對小做業的優化） -->
  <property>
    <name>mapreduce.job.ubertask.enable</name>
    <value>true</value>
  </property>

  <!-- 配置啓動uber模式的最大map數 -->
  <property>
    <name>mapreduce.job.ubertask.maxmaps</name>
    <value>9</value>
  </property>

  <!-- 配置啓動uber模式的最大reduce數 -->
  <property>
    <name>mapreduce.job.ubertask.maxreduces</name>
    <value>1</value>
  </property>
</configuration>
// 配置yarn-site.xml文件
$ vim yarn-site.xml

<configuration>
  <!-- NodeManager上運行的附屬服務，需配置成mapreduce_shuffle纔可運行MapReduce程序 -->
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>

  <!-- 配置Web Application Proxy安全代理（防止yarn被攻擊） -->
  <property>
    <name>yarn.web-proxy.address</name>
    <value>hadoop-master2:8888</value>
  </property>
  
  <!-- 開啓日誌 -->
  <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
  </property>

  <!-- 配置日誌刪除時間爲7天，-1爲禁用，單位爲秒 -->
  <property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
  </property>

  <!-- 修改日誌目錄 -->
  <property>
    <name>yarn.nodemanager.remote-app-log-dir</name>
    <value>/logs</value>
  </property>

  <!-- 配置nodemanager可用的資源內存 -->
  <property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>2048</value>
  </property>

  <!-- 配置nodemanager可用的資源CPU -->
  <property>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
    <value>2</value>
  </property>
  
  <!-- //////////////如下爲YARN HA的配置////////////// -->
  <!-- 開啓YARN HA -->
  <property>
    <name>yarn.resourcemanager.ha.enabled</name>
    <value>true</value>
  </property>

  <!-- 啓用自動故障轉移 -->
  <property>
    <name>yarn.resourcemanager.ha.automatic-failover.enabled</name>
    <value>true</value>
  </property>

  <!-- 指定YARN HA的名稱 -->
  <property>
    <name>yarn.resourcemanager.cluster-id</name>
    <value>yarncluster</value>
  </property>

  <!-- 指定兩個resourcemanager的名稱 -->
  <property>
    <name>yarn.resourcemanager.ha.rm-ids</name>
    <value>rm1,rm2</value>
  </property>

  <!-- 配置rm1，rm2的主機 -->
  <property>
    <name>yarn.resourcemanager.hostname.rm1</name>
    <value>hadoop-master1</value>
  </property>
  <property>
    <name>yarn.resourcemanager.hostname.rm2</name>
    <value>hadoop-master2</value>
  </property>

  <!-- 配置YARN的http端口 -->
  <property>
    <name>yarn.resourcemanager.webapp.address.rm1</name>
    <value>hadoop-master1:8088</value>
  </property>	
  <property>
    <name>yarn.resourcemanager.webapp.address.rm2</name>
    <value>hadoop-master2:8088</value>
  </property>

  <!-- 配置zookeeper的地址 -->
  <property>
    <name>yarn.resourcemanager.zk-address</name>
    <value>hadoop-slave1:2181,hadoop-slave2:2181,hadoop-slave3:2181</value>
  </property>

  <!-- 配置zookeeper的存儲位置 -->
  <property>
    <name>yarn.resourcemanager.zk-state-store.parent-path</name>
    <value>/rmstore</value>
  </property>

  <!-- 開啓yarn resourcemanager restart -->
  <property>
    <name>yarn.resourcemanager.recovery.enabled</name>
    <value>true</value>
  </property>

  <!-- 配置resourcemanager的狀態存儲到zookeeper中 -->
  <property>
    <name>yarn.resourcemanager.store.class</name>
    <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
  </property>

  <!-- 開啓yarn nodemanager restart -->
  <property>
    <name>yarn.nodemanager.recovery.enabled</name>
    <value>true</value>
  </property>

  <!-- 配置nodemanager IPC的通訊端口 -->
  <property>
    <name>yarn.nodemanager.address</name>
    <value>0.0.0.0:45454</value>
  </property>
</configuration>
// 配置slaves文件
$ vimslaves
hadoop-slave1
hadoop-slave2
hadoop-slave3

// 建立配置文件中涉及的目錄
$ cd/home/hadoop/app/cdh/hadoop-2.6.0-cdh5.7.1/

$ mkdir-p data/tmp

$ mkdir-p data/journal

$ mkdir-p data/namenode

$ mkdir-p data/datanode

// 將hadoop工做目錄同步到集羣其它節點
$ scp-r /home/hadoop/app/cdh/hadoop-2.6.0-cdh5.7.1/hadoop-master2:/home/hadoop/app/cdh/
scp -r/home/hadoop/app/cdh/hadoop-2.6.0-cdh5.7.1/ hadoop-slave1:/home/hadoop/app/cdh/
scp -r/home/hadoop/app/cdh/hadoop-2.6.0-cdh5.7.1/ hadoop-slave2:/home/hadoop/app/cdh/
scp -r/home/hadoop/app/cdh/hadoop-2.6.0-cdh5.7.1/ hadoop-slave3:/home/hadoop/app/cdh/

// 在集羣各節點上修改用戶環境變量
$ vim .bash_profile
export HADOOP_HOME=/home/hadoop/app/cdh/hadoop-2.6.0-cdh5.7.1
export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

// 使修改的環境變量生效
$ source.bash_profile

// 解決本地庫文件不存在的問題
在apache官網下載hadoop-2.6.0.tar.gz，解壓後將lib/native下全部文件複製到$HADOOP_HOME/lib/native中。

Hadoop集羣的初始化web

// 啓動zookeeper集羣（分別在slave一、slave2和slave3上執行）
$ zkServer.shstart

// 格式化ZKFC（在master1上執行）
$ hdfszkfc -formatZK

// 啓動journalnode（分別在slave一、slave2和slave3上執行）
$ hadoop-daemon.shstart journalnode

// 格式化HDFS（在master1上執行）
$ hdfsnamenode -format

// 將格式化後master1節點hadoop工做目錄中的元數據目錄複製到master2節點
$ scp-r app/cdh/hadoop-2.6.0-cdh5.7.1/data/namenode/*hadoop-master2:/home/hadoop/app/cdh/hadoop-2.6.0-cdh5.7.1/data/namenode/

// 初始化完畢後可關閉journalnode（分別在slave一、slave2和slave3上執行）
$ hadoop-daemon.shstop journalnode

本文地址：http://www.linuxprobe.com/hadoop-high-available-2.htmlapache

相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程