Ubuntu14.04安裝配置Hadoop2.6.0（徹底分佈式）與 wordcount實例運行

個人環境是：Ubuntu14.04+Hadoop2.6.0+JDK1.8.0_25

官網2.6.0的安裝教程：http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/SingleCluster.html

爲了方面配置，我在每臺機器上都使用了hadoop用戶來操做，這樣作的確夠方便。

結點信息：(分佈式集羣架構：master爲主節點，其他爲從節點)

機器名
IP
做用
master
122.205.135.254
NameNode and JobTracker
slave1
122.205.135.212
DataNode and TaskTracker
1.JDK的安裝

首先Hadoop運行須要Java的支持，因此必須在集羣中全部的節點安裝JDK，

jdk1.8.0_25的詳細安裝見個人另外一篇文章：http://www.linuxidc.com/Linux/2015-01/112030.htm 注意：最好將集羣中的JDK都安裝在同一目錄下，便於配置。實踐中，筆者通常將JDK安裝在/usr/java這個目錄，但並非必須的。

2.配置hosts文件

修改集羣中全部機器的/etc/hosts，打開該文件的命令以下：

sudo gedit /etc/hosts

添加：

122.205.135.254 master

122.205.135.212 slave1

如圖所示：

Ubuntu14.04安裝配置Hadoop2.6.0（徹底分佈式）與 wordcount實例運行

注意：這裏的master、slave一、slave2等等，指的是機器的機器名（使用命令hostname能夠查看本機的機器名），切記，若是不是機器名的話會出問題的，而且集羣中全部結點的機器名都應該不同。

3.SSH無密碼登陸

Hadoop主從節點無密碼登陸的安裝配置詳細見個人另外一篇章：點擊打開連接

4.Hadoop的安裝與配置

(1).下載解壓Hadoop穩定版

我用的是hadoop-2.6.0，下載地址：http://mirrors.hust.edu.cn/apache/hadoop/common/stable/

將下載後的Hadoop 拷貝到hadoop目錄下，解壓到master服務器的/hadoop目錄下（配置好master結點後再將其複製到其它的服務器上，通常來講，羣集中全部的hadoop都安裝在同一目錄下）：

解壓命令以下：

tar xzfv hadoop-2.6.0.tar.gz

Ubuntu14.04安裝配置Hadoop2.6.0（徹底分佈式）與 wordcount實例運行

（2）.配置Hadoop

1.修改hadoop-2.6.0/etc/hadoop/hadoop-env.sh，添加JDK支持：

export JAVA_HOME=/usr/java/jdk1.8.0_25

若是不知道你的JDK目錄，使用命令echo $JAVA_HOME查看。

2.修改hadoop-2.6.0/etc/hadoop/core-site.xml

注意：必須加在<configuration></configuration>節點內

<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop-2.6.0/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
</configuration>

3.修改hadoop-2.6.0/etc/hadoop/hdfs-site.xml

<property>
<name>dfs.name.dir</name>
<value>/home/hadoop/hadoop-2.6.0/dfs/name</value>
<description>Path on the local filesystem where the NameNode stores the namespace and transactions logs persistently.</description>
</property>

<property>
<name>dfs.data.dir</name>
<value>/home/hadoop/hadoop-2.6.0/dfs/data</value>
<description>Comma separated list of paths on the local filesystem of a DataNode where it should store its blocks.</description>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>

4.修改hadoop-2.6.0/etc/hadoop/mapred-site.xml

<property>
<name>mapred.job.tracker</name>
<value>master:9001</value>
<description>Host or IP and port of JobTracker.</description>
</property>

5. 修改hadoop-2.6.0/etc/hadoop/masters

列出全部的master節點：

master

6.修改hadoop-2.6.0/etc/hadoop/slaves

這個是全部datanode的機器，例如：

slave1

slave2

slave3

slave4

7.將master結點上配置好的hadoop文件夾拷貝到全部的slave結點上

以slave1爲例：命令以下：

scp -r ~/hadoop-2.6.0 hadoop@slave1:~/

安裝完成後，咱們要格式化HDFS而後啓動集羣全部節點。

5.啓動Hadoop

1.格式化HDFS文件系統的namenode

（這裏要進入hadoop-2.6.0目錄來格式化好些）：

cd hadoop-2.6.0 //進入hadoop-2.6.0目錄

bin/hdfs namenode -format //格式化

2.啓動Hadoop集羣
啓動hdrs命令以下：

sbin/start-dfs.sh //開啓進程

成功的話輸入jps會出現以下界面：

Ubuntu14.04安裝配置Hadoop2.6.0（徹底分佈式）與 wordcount實例運行

補充，關閉hdfs集羣的命令以下：

sbin/stop-dfs.sh

咱們也能夠經過網頁來看是否正常安裝與配置，地址以下：http://master:50070/

Ubuntu14.04安裝配置Hadoop2.6.0（徹底分佈式）與 wordcount實例運行