在ubuntu部署單機和僞分佈式hadoop

Hadoop的運行模式：

單機模式（standalone）
       單機模式是Hadoop的默認模式。當首次解壓Hadoop的源碼包時，Hadoop沒法瞭解硬件安裝環境，便保守地選擇了最小配置。在這種默認模式下全部3個XML文件均爲空。當配置文件爲空時，Hadoop會徹底運行在本地。由於不須要與其餘節點交互，單機模式就不使用HDFS，也不加載任何Hadoop的守護進程。該模式主要用於開發調試MapReduce程序的應用邏輯。

僞分佈模式（Pseudo-Distributed Mode）
      僞分佈模式在「單節點集羣」上運行Hadoop，其中全部的守護進程都運行在同一臺機器上。該模式在單機模式之上增長了代碼調試功能，容許你檢查內存使用狀況，HDFS輸入輸出，以及其餘的守護進程交互。

      全分佈模式（Fully Distributed Mode）
     Hadoop守護進程運行在一個集羣上。

 

版本：ubuntu 10.04.4，hadoop 1.0.2

1.添加hadoop用戶到系統用戶

安裝前要作一件事——添加一個名爲hadoop到系統用戶，專門用來作Hadoop測試。

1 sudo addgroup hadoop  
2 sudo adduser --ingroup hadoop hadoop  

如今只是添加了一個用戶hadoop，它並不具有管理員權限，所以咱們須要將用戶hadoop添加到管理員組：

sudo usermod -aG admin hadoop 

2.安裝ssh 

因爲Hadoop用ssh通訊，先安裝ssh

sudo apt-get install openssh-server  

ssh安裝完成之後，先啓動服務：

sudo /etc/init.d/ssh start   

啓動後，能夠經過以下命令查看服務是否正確啓動：

ps -e | grep ssh  

 

做爲一個安全通訊協議，使用時須要密碼，所以咱們要設置成免密碼登陸，生成私鑰和公鑰：

ssh-keygen -t rsa -P ""  

由於我已有私鑰，因此會提示是否覆蓋當前私鑰。第一次操做時會提示輸入密碼，按Enter直接過，這時會在～/home/{username}/.ssh下生成兩個文件：id_rsa和id_rsa.pub，前者爲私鑰，後者爲公鑰，如今咱們將公鑰追加到authorized_keys中（authorized_keys用於保存全部容許以當前用戶身份登陸到ssh客戶端用戶的公鑰內容）：

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 

如今能夠登入ssh確認之後登陸時不用輸入密碼：

ssh localhost  

登出：

exit          

第二次登陸：

ssh localhost 

登出：

exit          

這樣之後登陸就不用輸入密碼了。

 

3.安裝Java

1 sudo apt-get install openjdk-6-jdk  
2 java -version 

 

4.安裝hadoop 1.0.2

到官網下載hadoop源文件，這裏選擇hadoop 1.0.2

解壓並放到你但願的目錄中。我是放到/usr/local/hadoop

1 sudo tar xzf hadoop-1.0.2.tar.gz  
2 sudo mv hadoop-1.0.2 /usr/local/hadoop  

 

要確保全部的操做都是在用戶hadoop下完成的：

sudo chown -R hadoop:hadoop /usr/local/hadoop

 

5.設定hadoop-env.sh(Java 安裝路徑)

進入hadoop目錄，打開conf目錄下到hadoop-env.sh，添加如下信息：

1 export JAVA_HOME=/usr/lib/jvm/java-6-openjdk (視你機器的java安裝路徑而定)
2 export HADOOP_HOME=/usr/local/hadoop
3 export PATH=$PATH:/usr/local/hadoop/bin

 

而且，讓環境變量配置生效source

source /usr/local/hadoop/conf/hadoop-env.sh

至此，hadoop的單機模式已經安裝成功。

因而，運行一下hadoop自帶的例子WordCount來感覺如下MapReduce過程：

在hadoop目錄下新建input文件夾

mkdir input  

將conf中的全部文件拷貝到input文件夾中

cp conf/* input  

運行WordCount程序，並將結果保存到output中

bin/hadoop jar hadoop-examples-1.0.2.jar wordcount input output 

運行

cat output/* 

你會看到conf全部文件的單詞和頻數都被統計出來。

 

下面是僞分佈模式須要的一些配置，繼續。

6.設定*-site.xml
這裏須要設定3個文件：core-site.xml,hdfs-site.xml,mapred-site.xml，都在/usr/local/hadoop/conf目錄下
core-site.xml:  Hadoop Core的配置項，例如HDFS和MapReduce經常使用的I/O設置等。
hdfs-site.xml:  Hadoop 守護進程的配置項，包括namenode，輔助namenode和datanode等。
mapred-site.xml： MapReduce 守護進程的配置項，包括jobtracker和tasktracker。     

接下來編輯那三個文件：

core-site.xml:

 1 <configuration>  
 2     <property>  
 3         <name>fs.default.name</name>  
 4         <value>hdfs://localhost:9000</value>  
 5     </property>  
 6     <property>  
 7         <name>hadoop.tmp.dir</name>  
 8         <value>/usr/local/hadoop/tmp</value>  
 9     </property>  
10 </configuration>

hdfs-site.xml:

 1 <configuration>  
 2     <property>  
 3         <name>dfs.replication</name>  
 4         <value>1</value>  
 5     </property>  
 6     <property>  
 7         <name>dfs.name.dir</name>  
 8         <value>/usr/local/hadoop/hdfs/name</value>  
 9     </property>  
10     <property>  
11         <name>dfs.data.dir</name>  
12         <value>/usr/local/hadoop/hdfs/data</value>  
13     </property>  
14 </configuration> 

mapred-site.xml:

1 <configuration>  
2     <property>  
3         <name>mapred.job.tracker</name>  
4         <value>localhost:9001</value>  
5     </property>  
6 </configuration>  

7.格式化HDFS

經過以上步驟，咱們已經設定好Hadoop單機測試到環境，接着就是啓動Hadoop到相關服務，格式化namenode,secondarynamenode,tasktracker:

1 source /usr/local/hadoop/conf/hadoop-env.sh  
2 hadoop namenode -format  

8.啓動Hadoop

接着執行start-all.sh來啓動全部服務，包括namenode,datanode，start-all.sh腳本用來裝載守護進程。

1 hadoop@ubuntu:/usr/local/hadoop$ cd bin  
2 hadoop@ubuntu:/usr/local/hadoop/bin$ start-all.sh  

用Java的jps命令列出全部守護進程來驗證安裝成功

hadoop@ubuntu:/usr/local/hadoop$ jps 

出現以下列表，代表成功

9.檢查運行狀態
全部的設置已完成，Hadoop也啓動了，如今能夠經過下面的操做來查看服務是否正常，在Hadoop中用於監控集羣健康狀態的Web界面：
http://localhost:50030/     - Hadoop 管理介面
http://localhost:50060/     - Hadoop Task Tracker 狀態
http://localhost:50070/     - Hadoop DFS 狀態

Hadoop 管理介面：

Hadoop Task Tracker 狀態：

Hadoop DFS 狀態：

 

至此，hadoop的僞分佈模式已經安裝成功，因而，再次在僞分佈模式下運行一下hadoop自帶的例子WordCount來感覺如下MapReduce過程：

這時注意程序是在文件系統dfs運行的，建立的文件也都基於文件系統：

首先在dfs中建立input目錄

hadoop@ubuntu:/usr/local/hadoop$ bin/hadoop dfs -mkdir input

將conf中的文件拷貝到dfs中的input

hadoop@ubuntu:/usr/local/hadoop$ hadoop dfs -copyFromLocal conf/* input 

 

在僞分佈式模式下運行WordCount

hadoop@ubuntu:/usr/local/hadoop$ hadoop jar hadoop-examples-1.0.2.jar wordcount input output 

可看到如下過程

顯示輸出結果

hadoop@ubuntu:/usr/local/hadoop$ hadoop dfs -cat output/*

當Hadoop結束時，能夠經過stop-all.sh腳原本關閉Hadoop的守護進程

hadoop@ubuntu:/usr/local/hadoop$ bin/stop-all.sh