Hadoop2.7.3徹底分佈式集羣搭建和測試

   這幾天在學習Hadoop相關的東西，前些時候，搭建了單機和僞分佈式的集羣。可是在搭建徹底分佈式集羣的時候遇到不少問題，網上找到不少文章，感受都有些差異，所以，再次彙總一下，把個人詳細的搭建過程記錄下來。

參考了不少篇文章：http://www.w2bc.com/Article/19645

                                http://blog.csdn.NET/weixuehao/article/details/15813681

                                http://www.07net01.com/2015/07/874408.html

                                https://my.oschina.Net/voyage1314/blog/262392

                                ......

 

環境配置：
        虛擬機：
                vmware workstation 12
        系統：
                ubuntu 16.04 LTS（推薦使用原版，不要用kylin）
        節點：
                192.168.159.132    master
                192.168.159.134    node1
                192.168.159.137    node2

jdk-8u101-Linux-x64.gz (Java )

hadoop-2.7.3.tar.gz (Hadoop 包)

安裝步驟：

一、安裝虛擬機系統，並進行準備工做（可安裝一個而後克隆）

2.修改各個虛擬機的hostname和host

3.建立用戶組和用戶

四、配置虛擬機網絡，使虛擬機系統之間以及和host主機之間能夠經過相互ping通。

5.安裝jdk和配置環境變量，檢查是否配置成功

六、配置ssh，實現節點間的無密碼登陸 ssh node1/2指令驗證時候成功

七、master配置hadoop，並將hadoop文件傳輸到node節點 

八、配置環境變量，並啓動hadoop，檢查是否安裝成功，執行wordcount檢查是否成功。

1.安裝虛擬機

   在VM上安裝下載好的Ubuntu的系統，具體過程自行百度。能夠安裝完一個之後克隆，可是本人安裝過程當中遇到不少問題，常常須要刪除虛擬機，從新安裝，而被克隆的虛擬機不能刪除，因此本人就用了很長時候，一個一個安裝。

一共3臺虛擬機：分配狀況和IP地址以下：

（注：查看ip地址的指令   ifconfig）

安裝虛擬機時能夠設置靜態IP，由於過程當中經常遇到網絡鏈接問題,ifconfig找不到IPV4地址。固然，也能夠不設，默認分配。

參考  http://blog.csdn.net/wolf_soul/article/details/46409323

 

192.168.159.132    master
                192.168.159.134    node1
                192.168.159.137    node2

2.修改虛擬機的hostname和hosts文件

以master上機器爲例，打開終端，執行以下的操做，把hostname修改爲master，hosts修改爲以下所示的樣子：

#修改hostname的指令：
sudo gedit /etc/hostname

#修改hosts指令：
sudo gedit /etc/hosts

#將如下內容添加到hosts中
192.168.159.132    master
192.168.159.134    node1
192.168.159.137    node2

以下圖所示:

 

 

一樣地，在node1和node2機器上作類似的操做，分別更改主機名爲node1和node2，而後把hosts文件更改和master同樣。

3.建立用戶和用戶組（三臺機器上都要操做）

1. 建立hadoop用戶組

 

sudo addgroup hadoop

2. 建立hadoop用戶

 

sudo adduser -ingroup hadoop hadoop

3. 給hadoop用戶添加權限，打開/etc/sudoers文件

sudo gedit /etc/sudoers

按回車鍵後就會打開/etc/sudoers文件了，給hadoop用戶賦予root用戶一樣的權限
在root  ALL=(ALL:ALL)  ALL下添加hadoop  ALL=(ALL:ALL)  ALL

4.檢驗各個主機之間可否連通

分別以剛剛建立的hadoop用戶從新登陸系統，之後的操做都以hadoop用戶登陸。

ping +主機名

分別在各個主機上執行上述指令，看是否能與其餘主機連通。

出現下圖表明可以連通：

 

若是都成功ping通，進行下面的操做。

5.安裝jdk和配置環境變量

分別在每臺主機上安裝jdk，並配置環境變量。（嫌麻煩的前面能夠安裝完jdk後再克隆）

1）下載jdk安裝包（自行百度），並將安裝包拖入到虛擬機當中

2）經過cd命令進入到安裝包的當前目錄，利用以下命令進行解壓縮。

tar -zxvf jdk.....(安裝包名稱)

3）利用以下命令將解壓後的文件夾移到/usr目錄下　

#注意，這樣移動到/usr之後就沒有jdk1.8...這個目錄了，是將這個目錄下的全部文件所有移動到/usr/java下，
mv jdk1.8...(文件夾名稱) /usr/java

4）配置環境變量

sudo gedit /etc/profile

 

在末尾加上四行：

#java  
export JAVA_HOME=/usr/java 
export JRE_HOME=/usr/java/jre  
export CLASSPATH=$JAVA_HOME/lib  
export PATH=:$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

輸入以下命令使配置生效：source /etc/profile

查看配置是否成功，

 

出現如上信息說明Java配置成功。

6.配置SSH，實現節點間的無密碼登陸

本人在這一步常常出錯，莫名其妙的錯誤，網上也找不到資料。須要本身多實驗幾回。

下面的 1.2.3在全部主機上都要作

1..安裝ssh

sudo apt-get install openssh-server  

已有ssh或者安裝成功了的輸入命令

ps -e | grep ssh 

驗證SSH是否成功安裝輸入

ssh localhost 

出現如下提示說明安裝成功

 

3.生成密鑰Pair

 

ssh-keygen -t rsa

 

輸入以後一直選擇enter便可。生成的祕鑰位於 ~/.ssh文件夾下。可用cd 命令進入查看。

4.在master上，導入authorized_keys

 

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

 

5.遠程無密碼登陸(把master上的authorized_keys拷貝到其餘主機的相應目錄下)

#進入master的.ssh目錄,執行復制操做

scp authorized_keys hadoop@node1:~/.ssh/

scp authorized_keys hadoop@node2:~/.ssh/

修改各臺主機上authorized_keys文件的權限：

全部機器上，均執行命令：

chmod 600 .ssh/authorized_keys

 

完成以後，在master上執行下面操做，檢查免密碼登陸是否成功。

ssh node1(node2)

7.master配置hadoop,而後將master的hadoop文件傳送給node節點

1）解包移動

#解壓hadoop包
tar -zxvf hadoop...
#將安裝包移到/usr目錄下
mv hadoop... /usr/hadoop

2）新建文件夾

1. #在/usr/hadoop目錄下新建以下目錄(root)  
2. mkdir /dfs  
3. mkdir /dfs/name  
4. mkdir /dfs/data  
5. mkdir /tmp  

 

3)配置文件：hadoop-env.sh(文件都在/usr/hadoop/etc/hadoop中)

修改JAVA_HOME值（export JAVA_HOME=/usr/java） 

 

4)配置文件：yarn-env.sh

修改JAVA_HOME值（export JAVA_HOME=/usr/java）

5)配置文件：slaves

將內容修改成：

node1
node2

6)配置文件：core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
    <property>
        <name>io.file.buffer.size</name>
        <value>131072</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/hadoop/tmp</value>
        <description>Abase for other temporary   directories.</description>
    </property>
</configuration>

7)配置文件：hdfs-site.xml

<configuration>
       <property>
                <name>dfs.namenode.secondary.http-address</name>
               <value>master:9001</value>
       </property>
     <property>
             <name>dfs.namenode.name.dir</name>
             <value>file:/usr/hadoop/dfs/name</value>
       </property>
      <property>
              <name>dfs.datanode.data.dir</name>
              <value>file:/usr/hadoop/dfs/data</value>
       </property>
       <property>
               <name>dfs.replication</name>
               <value>2</value>
        </property>
        <property>
                 <name>dfs.webhdfs.enabled</name>
                  <value>true</value>
         </property>
</configuration>

8)配置文件：mapred-site.xml

先建立而後編輯

 cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml

gedit etc/hadoop/mapred-site.xml

<configuration>
          <property>                                                                  
　　　　　　　　<name>mapreduce.framework.name</name>
                <value>yarn</value>
           </property>
          <property>
                  <name>mapreduce.jobhistory.address</name>
                  <value>master:10020</value>
          </property>
          <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>master:19888</value>
       </property>
</configuration>

9)配置文件：yarn-site.xml

<configuration>
        <property>
               <name>yarn.nodemanager.aux-services</name>
               <value>mapreduce_shuffle</value>
        </property>
        <property>                                                                
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
               <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
        <property>
               <name>yarn.resourcemanager.address</name>
               <value>master:8032</value>
       </property>
       <property>
               <name>yarn.resourcemanager.scheduler.address</name>
               <value>master:8030</value>
       </property>
       <property>
            <name>yarn.resourcemanager.resource-tracker.address</name>
             <value>master:8031</value>
      </property>
      <property>
              <name>yarn.resourcemanager.admin.address</name>
               <value>master:8033</value>
       </property>
       <property>
               <name>yarn.resourcemanager.webapp.address</name>
               <value>master:8088</value>
       </property>
</configuration>

10)將hadoop傳輸到node1和node2 usr/hadoop目錄,（若是傳輸時報錯說 ：權限拒絕，先把文件傳送到非/usr目錄下，而後在node上把這個文件再移動到/usr/hadoop）

 scp -r /usr/hadoop hadoop@node1:/usr/hadoop

七、配置環境變量，並啓動hadoop，檢查是否安裝成功

1）配置環境變量

#編輯/etc/profile
sudo gedit /etc/profile
#以上已經添加過java的環境變量,在後邊添加就能夠

1. #hadoop  
2. export HADOOP_HOME=/opt/Hadoop/hadoop-2.7.2  
3. export PATH=$PATH:$HADOOP_HOME/sbin  
4. export PATH=$PATH:$HADOOP_HOME/bin  

執行 

source /etc/profile

 

使文件生效。

2）啓動hadoop,進入hadoop安裝目錄

bin/hdfs namenode -format

啓動hdfs:

./sbin/start-dfs.sh

啓動yarn:

./sbin/start-yarn.sh

3)啓動後分別在master, node下輸入jps查看進程

看到下面的結果，則表示成功。

Master:

node:

 

若是啓動成功:瀏覽器中輸入http://localhost:50070/那麼將登錄到namenode上

http://localhost:50030   MapReduce的Web頁面

http://localhost:50070   HDFS的Web頁面

終止守護進程：

./sbin/stop-dfs.sh
./sbin/stop-yarn.sh

 

8.向hadoop集羣系統提交第一個mapreduce任務(wordcount)

進入/usr/hadoop/bin

hdfs dfs -mkdir -p /input

一、  hdfs dfs -mkdir -p /input在虛擬分佈式文件系統上建立一個測試目錄/input

二、  hdfs dfs -put ../README.txt  /input  將README.txt 文件複製到虛擬分佈式文件系統中

三、  hdfs dfs -ls /input    查看文件系統中是否存在咱們所複製的文件

如圖操做：

三、  運行以下命令向hadoop提交單詞統計任務

進入jar文件目錄，執行下面的指令。

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /data/input /data/output/result

 

查看result，結果在result下面的part-r-00000中

hdfs dfs -cat /data/output/result/part-r-00000 

啓動hadoop，但ssh 端口不是默認的22怎麼樣？好在它能夠配置。在conf/hadoop-env.sh裏改下。如：

export HADOOP_SSH_OPTS="-p 1234"   

自此，hadoop集羣搭建成功！