centos下安裝分佈式Hadoop 3.1.1

一）安裝環境

centos 7

JDK 1.8.0_181

VMware 12 pro

hadoop 3.1.1

二）安裝環境準備

1. 分佈式系統準備

   下面示例中，我安裝了3個獨立的虛擬機系統，其中HW-Machine做爲master，另外2臺分別爲slaves：

   
   

2. Java環境配置        //3臺虛擬機均需配置

   JDK安裝包的獲取以及Java環境的配置，請參考另外一篇博文《Centos下Java環境安裝配置》。  

3. 靜態IP設置        //3臺虛擬機均需設置，並修改/etc/hosts文件及/etc/hostname文件

   因爲分佈式系統配置時，會寫入系統主機名或者主機IP，所以咱們須要對Hadoop環境所用的系統主機設置靜態IP，具體設置方法，請參考另外一篇博《VMware中Centos系統設置靜態IP》。

   我這裏的設置狀況以下：

   
   

4. SSH免密碼登陸配置            //3臺虛擬機均需配置

   Hadoop的master與slave之間的數據傳輸會使用SSH，所以咱們還須要對Hadoop環境所用的系統主機設置SSH免密碼登陸，具體設置方法，請參考另外一篇博文《Centos設置SSH免密碼遠程登陸》。

   
   

三）Hadoop安裝配置

注：

a. hadoop要求，全部用到的主機系統須要創建相同的用戶，在本例中我直接使用root帳號，所以全部操做均是以root帳號；

b. 對應下面配置文件修改，未特別說明，只需修改master上面的文件。

1. Hadoop下載

   直接去apache官網下載http://mirrors.hust.edu.cn/apache/  ，如本次實驗中下載的是： hadoop-3.1.1.tar.gz

2. 直接解壓下載軟件包： tar -zxvf hadoop-3.1.1.tar.gz -C  DestinationFolder，好比我解壓到了/usr/local/目錄下面（這裏的3臺系統均需下載並解壓）

3. 配置文件修改

   3.1 修改core-site.xml文件，文件位置/xxx/etc/hadoop/目錄下，3個系統都必須修改該文件

   3.2 修改hadoop-env.sh文件，文件位置/xxx/etc/hadoop/目錄下，3個系統都必須修改該文件

   或者以下修改（注意JAVA_HOME與HADOOP_HOME根據你本身環境配置設定），多添加紅框內的內容，這樣設置後能夠省略後面的3.7，3.8，3.9三個步驟：

   
   

   3.3 修改hdfs-site.xml文件，文件位置/xxx/etc/hadoop/目錄下，只需修改master節點

   或者，按以下設置（注意根據master實際配置，修改name、data目錄路徑及namenode的地址）：

   
   

   
   

   3.4 修改mapred-site.xml文件，文件位置/xxx/etc/hadoop/目錄下，只需修改master節點

   注意：該文件能夠只用設置此一個屬性，其餘會默認初始化。

   3.5 修改workers文件，文件位置/xxx/etc/hadoop/目錄下，只需修改master節點

   注意：這裏能夠只設置slave1和slave2，這樣master系統就不會做爲DataNode節點。

   3.6 修改yarn-site.xml文件，文件位置/xxx/etc/hadoop/目錄下，只需修改master節點

   注意：這裏也能夠只用設置yarn.resourcemanager.hostname和yarn.nodemanager.aux-services屬性。

   3.7 修改start-dfs.sh及stop-dfs.sh文件，文件位置/xxx/sbin/目錄下，在這兩個文件頭部加入以下變量：

   HDFS_DATANODE_USER=root

      HADOOP_SECURE_DN_USER=hdfs

      HDFS_NAMENODE_USER=root

      HDFS_SECONDARYNAMENODE_USER=root

     3.8 修改start-yarn.sh和stop-yarn.sh文件，文件位置/xxx/sbin/目錄下，在這兩個文件頭部加入以下變量：

     YARN_RESOURCEMANAGER_USER=root

     HADOOP_SECURE_DN_USER=yarn

     YARN_NODEMANAGER_USER=root

     3.9 修改start-all.sh和stop-all.sh文件，文件位置/xxx/sbin/目錄下，在這兩個文件頭部加入以下變量：

     TANODE_USER=root

     HDFS_DATANODE_SECURE_USER=hdfs

     HDFS_NAMENODE_USER=root

     HDFS_SECONDARYNAMENODE_USER=root

     YARN_RESOURCEMANAGER_USER=root

     HADOOP_SECURE_DN_USER=yarn

     YARN_NODEMANAGER_USER=root

  4. 初始化Hadoop系統，切換至/xxx/bin目錄下

     運行命令：./hdfs namenode  -format

     不報錯返回 「Exiting with status 0」 爲成功，「Exiting with status 1」爲失敗

  5. 啓動Hadoop並驗證，切換至/xxx/sbin目錄下

     運行命令啓動： ./start-all.sh

     運行命令驗證： jps， 若是看到如下服務則表示已經成功啓動服務：

     

     或者也可打開瀏覽器，輸入http://master:50070驗證，可看到以下網頁：

     

     至此，Hadoop安裝驗證完畢！

     

注意：

安裝配置Hadoop3.1.1還能夠結合參考：http://www.javashuo.com/article/p-gqicdyax-np.html