Hadoop 集羣cluster搭建

Hadoop集羣cluster環境的搭建，能夠參考官方文檔：

http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/ClusterSetup.html

2015-12 搭建Hadoop cluster環境於公司雲環境，這裏雲環境中，每臺機器有兩個IP，一個是雲環境內其自己的IP，另外一個是咱們訪問雲端服務器使用的IP。而Hadoop的配置主要使用的是其自己的IP。

hosts以下：

192.168.0.8  hadoop1

192.168.0.16  hadoop2

192.168.0.12  hadoop3

192.168.0.15  hadoop4

其中hadoop1位master，其他爲slave。hadoop1中配置namenode和resourcemanager，其餘做爲slave配置datanode和nodemanager。

搭建過程以下：

首先暗轉Java，下載hadoop安裝包。

安裝ssh和rsync。

  $ sudo apt-get install ssh
  $ sudo apt-get install rsync

使用ssh-keygen命令生成密鑰並配置這四臺服務器，使得他們能夠兩兩無密碼ssh訪問。由於在hadoop啓動中止等操做時，會由master經過ssh方式訪問各個slave。因此要保證他們能夠ssh直接訪問。

配置環境變量：

export JAVA_HOME=/usr/java/jdk1.7.0_79
export JRE_HOME=/usr/java/jdk1.7.0_79/jre
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export HADOOP_HOME=/apphome/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
export HADOOP_PREFIX=/apphome/hadoop

而後就是每臺服務器的hadoop自身的配置了，配置文件目錄：$HADOOP_HOME/etc/hadoop

配置Hadoop中的環境變量，在hadoop-env.sh，mapred-env.sh和yarn-env.sh中配置JAVA_HOME。

每臺機器上增長文件slaves

[appadmin@hadoop2 hadoop]$ cat slaves
hadoop2
hadoop3
hadoop4

core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop1:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/apphome/hd/fstmp</value>
    </property>
</configuration>

hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/apphome/hd/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/apphome/hd/datanode</value>
    </property>
    <property>
        <name>dfs.namenode.handler.count</name>
        <value>100</value>
    </property>
</configuration>

mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop1</value>
    </property>
</configuration>

訪問：http://10.120.20.208:50070/dfshealth.html#tab-overview

本文不是搭建環境時撰寫，須要在之後搭建環境時再次驗證。