Hadoop單機模式的安裝方法(實驗樓版)

1、實驗環境說明

1. 環境登陸

無需密碼自動登陸，系統用戶名shiyanlou，密碼shiyanlou

2. 環境介紹

本實驗環境採用帶桌面的Ubuntu Linux環境，實驗中會用到桌面上的程序：

• XfceTerminal: Linux命令行終端，打開後會進入Bash環境，可使用Linux命令
• Firefox：瀏覽器，能夠用在須要前端界面的課程裏，只須要打開環境裏寫的HTML/JS頁面便可
• GVim：很是好用的編輯器，最簡單的用法能夠參考課程Vim編輯器

3. 環境使用

使用GVim編輯器輸入實驗所需的代碼，而後使用XfceTerminal命令行環境進行編譯運行，查看運行結果，運行後能夠截圖並分享本身的實驗成果，實驗樓提供的截圖是後臺截圖，沒法做弊，能夠真實有效證實您已經完成了實驗。

實驗記錄頁面能夠在「個人課程」中查看，其中含有每次實驗的截圖及筆記，以及每次實驗的有效學習時間（指的是在實驗桌面內操做的時間，若是沒有操做，系統會記錄爲發呆時間）。這些都是您學習的真實性證實。

4. 參考文檔

本實驗參考下列文檔內容製做：

• http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/SingleCluster.html
• http://www.cnblogs.com/kinglau/p/3794433.html

2、Hadoop啓動模式

Hadoop集羣有三種啓動模式：

• 單機模式：默認狀況下運行爲一個單獨機器上的獨立Java進程，主要用於調試環境
• 僞分佈模式：在單個機器上模擬成分佈式多節點環境，每個Hadoop守護進程都做爲一個獨立的Java進程運行
• 徹底分佈式模式：真實的生產環境，搭建在徹底分佈式的集羣環境

3、用戶及用戶組

須要先添加用來運行Hadoop進程的用戶組hadoop及用戶hadoop。

1. 添加用戶及用戶組

建立用戶hadoop

$ sudo adduser hadoop 

須要輸入shiyanlou的密碼：shiyanlou。並按照提示輸入hadoop用戶的密碼。

2. 添加sudo權限

將hadoop用戶添加進sudo用戶組

$ sudo usermod -G sudo hadoop 

4、安裝及配置依賴的軟件包

1. 安裝openssh-server、java、rsync等

$ sudo apt-get update $ sudo apt-get install openssh-server rsync $ sudo service ssh restart $ sudo apt-get install openjdk-7-jdk $ java -version 

2. 配置ssh免密碼登陸

切換到hadoop用戶，須要輸入添加hadoop用戶時配置的密碼。後續步驟都將在hadoop用戶的環境中執行。

$ su -l hadoop 

配置ssh環境免密碼登陸。

$ ssh-keygen -t rsa -P "" 

在/home/hadoop/.ssh目錄下生成了id_rsa（私鑰）和id_rsa.pub（公鑰）兩個文件,將公鑰追加到authorized_keys中，該文件保存全部容許以當前用戶身份登陸到ssh客戶端用戶的公鑰內容。

$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 

驗證登陸本機是否還須要密碼，配置正確的話是能夠不需密碼登陸的。

$ ssh localhost 

5、下載並安裝Hadoop

在hadoop用戶登陸的環境中進行下列操做：

1. 下載Hadoop 2.6.0

$ wget http://labfile.oss.aliyuncs.com/hadoop-2.6.0.tar.gz 

2. 解壓並安裝

$ tar zxvf hadoop-2.6.0.tar.gz $ sudo mv hadoop-2.6.0 /usr/local/hadoop $ sudo chmod 774 /usr/local/hadoop 

3. 配置Hadoop

$ vim /home/hadoop/.bashrc 

在/home/hadoop/.bashrc文件末尾添加下列內容：

#HADOOP START export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64 export HADOOP_INSTALL=/usr/local/hadoop export PATH=$PATH:$HADOOP_INSTALL/bin export PATH=$PATH:$HADOOP_INSTALL/sbin export HADOOP_MAPRED_HOME=$HADOOP_INSTALL export HADOOP_COMMON_HOME=$HADOOP_INSTALL export HADOOP_HDFS_HOME=$HADOOP_INSTALL export YARN_HOME=$HADOOP_INSTALL export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib" #HADOOP END 

保存退出後，激活新加的環境變量

$ source ~/.bashrc 

至此，Hadoop單機模式安裝完成，能夠經過下述步驟的測試來驗證安裝是否成功。

6、測試驗證

建立輸入的數據，暫時採用/etc/protocols文件做爲測試

$ cd /usr/local/hadoop $ sudo mkdir input $ sudo cp /etc/protocols ./input 

執行Hadoop WordCount應用（詞頻統計）

$ bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.6.0-sources.jar org.apache.hadoop.examples.WordCount input output 

查看生成的單詞統計數據

$ cat output/* 

注意：若是要繼續下一節「僞分佈式部署」實驗，請勿中止本實驗環境，直接點擊文檔上方的「下一個實驗」按鈕進入，由於僞分佈式部署模式須要在單機模式基礎上進行配置。

最後一步：點擊屏幕上方的「實驗截圖」將上述命令執行後的截圖保存並分享給朋友們吧，這是你學習Hadoop安裝的證實。

7、小結

本實驗中介紹了Hadoop單機模式的安裝方法，並運行wordcount進行基本測試。

8、思考題

請使用hadoop的wordcount對日誌文件/var/log/dpkg.log進行詞頻統計。

實驗中有任何問題歡迎到實驗樓問答提問。