攻城獅在路上（陸）-- hadoop單機環境搭建（一）

1、環境說明：

    操做系統：Centos6.5 Linux node1 2.6.32-431.el6.x86_64 #1 SMP Fri Nov 22 03:15:09 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux
    jdk版本：java version "1.7.0_79"
    hadoop版本：Apache hadoop-2.5.2

2、下載軟件：

    從Apache官方地址http://apache.dataguru.cn/hadoop/common/hadoop-2.5.2/目錄下載

hadoop-2.5.2.tar.gz  

解壓：

tar -zxvf hadoop-2.5.2_x64.tar.gz hadoop-2.5.2

    拷貝到/usr/local/目錄下：

cp hadoop-2.5.2 /usr/local/

    如上，至關於將hadoop安裝到了/usr/local/hadoop-2.5.1目錄下。

3、單機版修改配置文件：

     首先切換到hadoop安裝目錄下：

/usr/local/hadoop-2.5.2

一、修改etc/hadoop/hadoop-env.sh文件：

# set to the root of your Java installation
  export JAVA_HOME=/usr/java/jdk1.7.0_79

  # Assuming your installation directory is /usr/local/hadoop-2.5.2
  export HADOOP_PREFIX=/usr/local/hadoop-2.5.2

其實在原來的配置文件中已經提供了JAVA_HOME的配置，若是在系統環境變量中已經配置過的話，此處能夠省略。

二、測試一下，運行bin/hadoop命令：效果以下圖

三、繼續測試另外一個示例：這裏至關於運行了一個任務，計算結果寫入到了output目錄下。

$ mkdir input
$ cp etc/hadoop/*.xml input
$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.2.jar grep input output 'dfs[a-z.]+'
$ cat output/*

4、僞分佈式配置：

一、修改etc/hadoop/core-site.xml:

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

二、修改etc/hadoop/hdfs-site.xml:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

三、配置免密碼登陸以及測試：

$ ssh-keygen -t rsa   #一路回車

$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

$ ssh localhost

四、執行：

①格式化文件系統：

$ bin/hdfs namenode -format

②啓動NameNode守護進程：

$ sbin/start-dfs.sh

③在瀏覽器中打開：http://localhost:50070/