Hadoop 安裝和 單機配置 ( Ubuntu 平臺）

Hadoop 目前主要分爲兩大版本，1.xx和2.xx ，也稱之爲兩代；這兩個大版本有很大差別；目前商用的穩定版本仍是第一代，此次選擇version 1.2.1;

1.下載地址（包含全部版本）

https://archive.apache.org/dist/hadoop/core/

2.安裝Java，配置環境變量

 vi  /etc/profile 

添加 export JAVA_HOME=<java home>

         export PATH= .:$PATH:$JAVA_HOME

3.安裝SSH

 hadoop 整個分佈式系統依賴於ssh用來通訊，

sudo apt-get install ssh ，

sudo apt-get install rsync

sudo apt-get install openssh-server

安裝成功後，ssh服務將會運行；經過service sshd status | start | stop 管理；

4.建立hadoop專用用戶

useradd  <hadoop>

passwd  <password>

5.將hadoop安裝目錄添加到hadoop用戶以及其用戶組中

sudo chown -R hadoop:hadoop hadoop-1.2.1

6.僞分佈式部署（pseudo-distributed operation)

配置 conf目錄下的配置文件

conf/core-site.xml:

<configuration>
     <property>
         <name>fs.default.name</name>
         <value>hdfs://localhost:9000</value>
     </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/hdfs/tmp</value>
    </property>
    <property>
        <name>dfs.data.dir></name>
        <value>/home/hadoop/hdfs/data</value>
    </property>
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
 </configuration>

conf/hdfs-site.xml:

<configuration>
     <property>
         <name>dfs.replication</name>
         <value>1</value>
     </property>
</configuration>

conf/mapred-site.xml:

<configuration>
     <property>
         <name>mapred.job.tracker</name>
         <value>localhost:9001</value>
     </property>
</configuration>

7 配置ssh ,使用無密碼登陸

$ ssh localhost

如何沒有成功登陸，執行下面代碼
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

8.初始化

初始化hdfs

bin/hadoop namenode -format

9.開啓hadoop

bin/start-all.sh

10.頁面監控管理

• NameNode - http://localhost:50070/

• JobTracker - http://localhost:50030/