Hadoop 2.6.4分佈式集羣環境搭建

1、軟件準備

VMware-Fusion-8.0.0-2985594.dmg

ubuntu-14.04.4-desktop-amd64.iso

 

2、集羣機器準備

在VMware Fusion中安裝三臺虛擬機，以下：

在安裝三臺虛擬機的時候，建立專門用於 Hadoop 集羣管理的用戶 hadoop，爲了管理方便，密碼能夠簡單設置爲 hadoop。

三臺機器的名稱和IP地址以下：

主機名稱	IP地址
master	192.168.109.137
slave01	192.168.109.139
slave02	192.168.109.138

修改 三臺機器的 /etc/hosts 文件，配置以下：

127.0.0.1       localhost
192.168.109.137 master
192.168.109.139 slave01
192.168.109.138 slave02

能夠使用 ping 命令測試三臺機器的連通性。

3、配置 ssh 無密碼訪問集羣機器

在三臺機器中分別執行如下兩個命令，以便無密碼登陸到 localhost。

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

將 slave01 和 slave02 的公鑰 id_dsa.pub 傳給 master。

scp ~/.ssh/id_dsa.pub hadoop@master:/home/hadoop/.ssh/id_dsa.pub.slave01
scp ~/.ssh/id_dsa.pub hadoop@master:/home/hadoop/.ssh/id_dsa.pub.slave02

將 slave01 和 slave02的公鑰信息追加到 master 的 authorized_keys文件中。

cat id_dsa.pub.slave01 >> authorized_keys
cat id_dsa.pub.slave02 >> authorized_keys

將 master 的公鑰信息 authorized_keys 複製到 slave01 和 slave02 的 .ssh 目錄下。

scp authorized_keys hadoop@slave01:/home/hadoop/.ssh/authorized_keys
scp authorized_keys hadoop@slave02:/home/hadoop/.ssh/authorized_keys

分別 ssh 到 slave01 和 slave02 

能夠看到從 master 已經不須要密碼就能夠登陸到 slave01 和 slave 02。slave01 和 slave02 也無需密碼訪問另外兩臺機器，以下：

4、JDK 和 Hadoop 安裝配置

分別在三臺機器中安裝 JDK 和 Hadoop，具體的安裝細節這裏再也不贅述，能夠參見另一篇博文 Hadoop 2.6.4單節點集羣環境搭建 。注意：本文將 Java 和 Hadoop 解壓安裝到 /opt 目錄下， 需使用 chown 命令將解壓後文件夾所屬的用戶和用戶組改爲 hadoop，以避免後面產生權限問題。下面是 JDK 和 Hadoop 環境變量配置：

# Java Env
export JAVA_HOME=/opt/java/jdk1.7.0_80
export JRE_HOME=/opt/java/jdk1.7.0_80/jre
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

# Hadoop Env
export HADOOP_HOME=/opt/hadoop-2.6.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

5、集羣配置

一、修改 master 機器上 Hadoop 配置

(1) hadoop-env.sh

增長以下兩行配置：

export JAVA_HOME=/opt/java/jdk1.7.0_80
export HADOOP_PREFIX=/opt/hadoop-2.6.4

(2) core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/hadoop-2.6.4/tmp</value>
    </property>
</configuration>

注意：tmp目錄需提早建立

(3) hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
</configuration>

數據有三個副本

(4) mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

(5) yarn-env.sh

增長 JAVA_HOME 配置

export JAVA_HOME=/opt/java/jdk1.7.0_80

(6) yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>
</configuration>

(7) slaves

master
slave01
slave02

master 即做爲 NameNode 也做爲 DataNode。

二、在 slave01 和 slave02 上作一樣的配置

6、啓動Hadoop集羣

一、格式化文件系統

在 master 上執行如下命令：

hdfs namenode -format

二、啓動 NameNode 和 DateNode

在 master 機器上執行 start-dfs.sh, 以下：

使用 jps 命令查看 master 上的Java進程：

使用 jps 命令分別查看 slave01 和 slave02 上的 Java 進程：

能夠看到 NameNode 和 DataNode 均啓動成功。

三、查看 NameNode 和 NameNode 信息

瀏覽器輸入地址： http://master:50070/ 能夠查看 NameNode 信息。

四、啓動 ResourceManager 和 NodeManager

運行 start-yarn.sh, 以下：

使用 jps 查看 master 上的 Java 進程

能夠看到 master 上 ResourceManager 和 NodeManager 均啓動成功。

能夠看到 slave01 上 NodeManager 也啓動成功。

一樣能夠看到 slave02 上 NodeManager 也已經啓動成功了。

至此，整個 Hadoop 集羣就已經啓動了。