Hadoop集羣平臺搭建（2.4.1在32位ubuntu14.04上的配置）

實習的內容是Hadoop應用開發，乘着週末搭建一個本身的hadoop平臺。

總的來講是由3臺虛擬機構成，均是ubuntu14.04，宿主機是win8 8G內存，所以搭建這個平臺仍是挺順利的。

1.Vmware WorkStation軟件，我使用的是VM11版本

2.創建3個虛擬機，這個簡單

主要是要更名字，更名字的方法是：sudo gedit /etc/hostname 這裏會提示輸入密碼

個人命名就是上圖。

3.配置hosts文件，這和咱們在windows下改hosts同樣的做用,

如：

172.19.19*.22 mipnode1
172.19.19*.118 cadnode2
172.19.19*.215 master

爲了保持同一個網絡段。查看命令 ：ifconfig,以及修改ip方式 sudo ifconfig eth0 172.*.*.*

4.創建hadoop運行帳號，我這裏同一用lee做爲hadoop帳號

設置hadoop用戶組

sudo groupadd hadoop    

添加一個lee用戶，此用戶屬於hadoop用戶組，且具備admin權限。

sudo useradd –s /bin/bash –d /home/lee –m lee –g hadoop –G admin

設置密碼

sudo passwd lee

對全部的虛擬機都配置同一個帳號lee.

5.SSH免密碼登陸 配置node

一.裝上SSH

打開"終端窗口"，輸入"sudo apt-get update"-->回車-->"輸入當前登陸用戶的管理員密碼"-->回車

打開"終端窗口"，輸入"sudo apt-get install openssh-server"-->回車-->輸入"y"-->回車-->安裝完成

打開"終端窗口"，輸入"sudo ps -e |grep ssh"-->回車-->有sshd,說明ssh服務已經啓動，若是沒有啓動，輸入"sudo service ssh start"-->回車-->ssh服務就會啓動

二.爲每一個虛擬機配置密鑰

lee@cadnode2:~/.ssh$ ls
authorized_keys id_rsa id_rsa.pub known_hosts
lee@cadnode2:~/.ssh$ cat id_rsa.pub >> authorized_keys
lee@cadnode2:~/.ssh$ scp lee@master:~/.ssh/id_rsa.pub ./master_rsa.pub
Agent admitted failure to sign using the key.
lee@master's password:
id_rsa.pub 100% 392 0.4KB/s 00:00
lee@cadnode2:~/.ssh$ cat master_rsa.pub >> authorized_keys
lee@cadnode2:~/.ssh$

一旦ip改變，則密鑰失效從新須要配置

 三.JDK配置

JDK的配置比較簡單

把一份jdk放到home（其實是home/用戶名）中解壓便可，再配置環境變量   sudo gedit /etc/profile  生效命令：source /etc/profile

export JAVA_HOME=/home/lee/jdk1.7.0

export HADOOP_HOME=/home/lee/hadoop-2.4.1

export PATH=$PATH:$HADOOP_HOME/bin:$JAVA_HOME:$JAVA_HOME/bin:$HADOOP_HOME/sbin

四.Hadoop的配置

接着是配置Hadoop了

對每個節點 無論是主節點，仍是數據節點，都得裝hadoop,而且同樣便可

對於hadoop/etc/hadoop下的文件的配置

1.core-site.xml

<configuration>

<property>

    <name>fs.defaultFS</name>

    <value>hdfs://master:9000</value>

</property>

<property>

    <name>hadoop.tmp.dir</name>

    <value>/home/lee/hadoop2.4.1/tmp</value>

    <description>Abase for other temporary directories.</description>

</property>

</configuration>

2.對於hadoop-env.sh  必定要配置JDK目錄

export JAVA_HOME=/home/lee/jdk1.7.0

3.對於hdfs-site.xml

<property>

    <name>dfs.namenode.secondary.http-address</name>

    <value>master:50090</value>

</property>

<property>

    <name>dfs.namenode.name.dir</name>

    <value>/home/lee/hadoop2.4.1/tmp/dfs/name</value>

</property>

<property>

    <name>dfs.datanode.data.dir</name>

    <value>/home/lee/hadoop2.4.1/tmp/dfs/data</value>

</property>

<property>

    <name>dfs.replication</name>

    <value>2</value>

</property>

這裏的dfs/name是給master用的，以及必定要本身手動去創建，不然必定會沒法啓動datanode 

這裏的dfs/data是給node節點用的

dfs.replication的值根據node子節點（數據節點）的數目而定

4.mapred-site.xml配置， 要先copy一份模版

<configuration>

<property>

    <name>mapreduce.framework.name</name>

    <value>yarn</value>

</property>

</configuration>

5.yarn-site.xml配置

<property>

    <name>yarn.resourcemanager.hostname</name>

    <value>master</value>

</property>

<property>

    <name>yarn.nodemanager.aux-services</name>

    <value>mapreduce_shuffle</value>

</property>

 

6.出錯了要查看日誌

hadoop/logs

2015-08-02 01:03:15,909 INFO org.mortbay.log: Stopped SelectChannelConnector@0.0.0.0:50070

2015-08-02 01:03:15,909 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Stopping NameNode metrics system...

2015-08-02 01:03:15,910 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: NameNode metrics system stopped.

2015-08-02 01:03:15,910 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: NameNode metrics system shutdown complete.

2015-08-02 01:03:15,910 FATAL org.apache.hadoop.hdfs.server.namenode.NameNode: Exception in namenode join

java.io.IOException: NameNode is not formatted.

at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:212)

at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFSImage(FSNamesystem.java:891)

at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFromDisk(FSNamesystem.java:638)

at org.apache.hadoop.hdfs.server.namenode.NameNode.loadNamesystem(NameNode.java:503)

at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:559)

at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:724)

at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:708)

at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1358)

at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1424)

2015-08-02 01:03:15,911 INFO org.apache.hadoop.util.ExitUtil: Exiting with status 1

2015-08-02 01:03:15,912 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: SHUTDOWN_MSG: 

/************************************************************

SHUTDOWN_MSG: Shutting down NameNode at master/192.168.25.128

如這個提示， NameNode is not formatted. 名字節點沒有格式化

使用Hadoop用戶，切換到hadoop/bin目錄下

格式化分佈式文件系統./hadoop namenode -format