Linux環境Hadoop單機模式安裝詳解

單機模式是Hadoop的默認模式。當首次解壓Hadoop的源碼包時，Hadoop沒法瞭解硬件安裝環境，便保守地選擇了最小配置。在這種默認模式下全部3個XML文件均爲空。當配置文件爲空時，Hadoop會徹底運行在本地。由於不須要與其餘節點交互，單機模式就不使用HDFS，也不加載任何Hadoop的守護進程。該模式主要用於開發調試MapReduce程序的應用邏輯。

1、JDK安裝與配置

      詳情請見：http://www.cnblogs.com/zhangwenjing/p/3580726.html

2、Hadoop安裝與配置

     一、Hadoop下載與安裝

     　　地址：http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.3.0/hadoop-2.3.0.tar.gz

 　　　 使用wget命令下載：wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.3.0/hadoop-2.3.0.tar.gz

　　     解壓縮：tar -zxvf hadoop-2.3.0-src.tar.gz

 　　　 重命名：mv hadoop-2.3.0-src hadoop

 　 二、Hadoop配置

 　　　Hadoop配置在hadoop/etc/hadoop下，因爲默認爲單機模式，因此能夠不作修改。現據實際狀況做以下修改：

         hadoop-env.sh

         export JAVA_HOME=/usr/local/java/jdk1.7.0_51（JDK安裝目錄）

         修改內存大小：export HADOOP_CLIENT_OPTS="-Xmx512m $HADOOP_CLIENT_OPTS"

     三、實例運行

         切換到安裝目錄，創建要上傳到hadoop的兩個文件 test1.txt、test2.txt

         mkdir input

         cd input

         echo "hello world" > test1.txt

         echo "hello hadoop" > test2.txt

         運行hadoop自帶的wordcount實例能夠統計一批文本文件中單詞出現的次數

         bin/hadoop jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.3.0.jar wordcount input output

         查看結果：

         cat output/*