1、Ubuntu14.04下安裝Hadoop2.4.0 （單機模式）

 

1、在Ubuntu下建立hadoop組和hadoop用戶

    增長hadoop用戶組，同時在該組裏增長hadoop用戶，後續在涉及到hadoop操做時，咱們使用該用戶。

 

一、建立hadoop用戶組

 

        

 

 

 

    2、建立hadoop用戶

    

    sudo adduser -ingroup hadoop hadoop

    回車後會提示輸入新的UNIX密碼，這是新建用戶hadoop的密碼，輸入回車便可。

    若是不輸入密碼，回車後會從新提示輸入密碼，即密碼不能爲空。

    最後確認信息是否正確，若是沒問題，輸入 Y，回車便可。

    

 

 

 

 

 

 

 

 

 

 

 

 

    3、爲hadoop用戶添加權限

 

     輸入：sudo gedit /etc/sudoers

     回車，打開sudoers文件

     給hadoop用戶賦予和root用戶一樣的權限

 

 

    

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2、用新增長的hadoop用戶登陸Ubuntu系統

 

3、安裝ssh

sudo apt-get install openssh-server

 

 

 

 

 

 

 

 

 

 

 

 

安裝完成後，啓動服務

sudo /etc/init.d/ssh start

 

查看服務是否正確啓動：ps -e | grep ssh

 

 

 

 

 

 

設置免密碼登陸，生成私鑰和公鑰

ssh-keygen -t rsa -P ""

 

 

 

 

 

 

 

 

 

 

 

 

 

此時會在／home／hadoop/.ssh下生成兩個文件：id_rsa和id_rsa.pub，前者爲私鑰，後者爲公鑰。

下面咱們將公鑰追加到authorized_keys中，它用戶保存全部容許以當前用戶身份登陸到ssh客戶端用戶的公鑰內容。

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

 

 

 

登陸ssh

ssh localhost

 

 

 

 

 

 

 

 

 

 

      

退出

exit

 

4、安裝Java環境

sudo apt-get install openjdk-7-jdk

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

查看安裝結果，輸入命令：java -version，結果以下表示安裝成功。

 

 

 

 

5、安裝hadoop2.4.0

    1、官網下載http://mirror.bit.edu.cn/apache/hadoop/common/

 

    2、安裝

 

        解壓

        sudo tar xzf hadoop-2.4.0.tar.gz        

        假如咱們要把hadoop安裝到/usr/local下

        拷貝到/usr/local/下，文件夾爲hadoop

        sudo mv hadoop-2.4.0 /usr/local/hadoop        

        

 

賦予用戶對該文件夾的讀寫權限

        sudo chmod 774 /usr/local/hadoop

    

 

三、配置

      

        1）配置~/.bashrc

        

配置該文件前須要知道Java的安裝路徑，用來設置JAVA_HOME環境變量，可使用下面命令行查看安裝路徑

        update-alternatives - -config java

        執行結果以下：

        

    

 

 

 

完整的路徑爲

    /usr/lib/jvm/java-7-openjdk-amd64/jre/bin/java

    咱們只取前面的部分 /usr/lib/jvm/java-7-openjdk-amd64

    配置.bashrc文件

    sudo gedit ~/.bashrc

    

    該命令會打開該文件的編輯窗口，在文件末尾追加下面內容，而後保存，關閉編輯窗口。

#HADOOP VARIABLES START

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

export HADOOP_INSTALL=/usr/local/hadoop

export PATH=$PATH:$HADOOP_INSTALL/bin

export PATH=$PATH:$HADOOP_INSTALL/sbin

export HADOOP_MAPRED_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_HOME=$HADOOP_INSTALL

export HADOOP_HDFS_HOME=$HADOOP_INSTALL

export YARN_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"

#HADOOP VARIABLES END

 

 

最終結果以下圖：

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

執行下面命，使添加的環境變量生效：

        source ~/.bashrc

2）編輯/usr/local/hadoop/etc/hadoop/hadoop-env.sh

 

        執行下面命令，打開該文件的編輯窗口

        sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh

找到JAVA_HOME變量，修改此變量以下

        export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64    

        修改後的hadoop-env.sh文件以下所示：

    

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

6、WordCount測試

 

單機模式安裝完成，下面經過執行hadoop自帶實例WordCount驗證是否安裝成功

    /usr/local/hadoop路徑下建立input文件夾    

mkdir input

 

    拷貝README.txt到input    

cp README.txt input

    執行WordCount

    bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.4.0-sources.jar org.apache.hadoop.examples.WordCount input output

    

 

 

執行結果：

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

執行 cat output/*，查看字符統計結果