Centos7 搭建 hadoop3.1.1 集羣教程

 

• 配置環境要求：

1. Centos7
2. jdk 8
3. Vmware 14 pro
4. hadoop 3.1.1

• Hadoop下載

• 安裝4臺虛擬機，如圖所示

2. 克隆以後須要更改網卡選項，ip，mac地址，uuid

3.  

4. 重啓網卡:

    

5. 爲了方便使用，操做時使用的root帳戶

•  設置機器名稱

3. 再使用hostname命令，觀察是否更改

   相似的，更改其餘三臺機器hdp-0二、hdp-0三、hdp-04。

• 在任意一臺機器Centos7上修改域名映射

  1. vi /etc/hosts
  2. 修改以下

  3. 使用scp命令發送其餘克隆機上    scp /etc/hosts 192.168.126.124:/etc/

• 給四臺機器生成密鑰文件

1.  確認生成。
2. 把每一臺機器的密鑰都發送到hdp-01上（包括本身）
3. 將全部密鑰都複製到每一臺機器上

• 在每一臺機器上測試

1. 無需密碼則成功，保證四臺機器之間能夠免密登陸

• 安裝Hadoop

1. 在usr目錄下建立Hadoop目錄，以保證Hadoop生態圈在該目錄下。
2. 使用xsell+xFTP傳輸文

3. 解壓縮Hadoop

• 配置java與hadoop環境變量

1 export JAVA_HOME=/usr/jdk/jdk1.8.0_131
2 export JRE_HOME=${JAVA_HOME}/jre
3 export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
4 export PATH=${JAVA_HOME}/bin:$PATH
5 
6 export HADOOP_HOME=/usr/hadoop/hadoop-3.1.1/
7 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

注意：以上四臺機器都須要配置環境變量

• 修改etc/hadoop中的配置文件

  注：除了個別提示，其他文件只用修改hdp-01中的便可

1. 修改core-site.xml 

    1 <configuration>
    2 <property>
    3 <name>fs.defaultFS</name>
      <!-- 注意別的slave機須要識別master主機名，不然將不能與主機hdp-01溝通 -->
   
    4 <value>hdfs://hdp-01:9000</value>
    5 </property>
    6  <property>
    7   <name>hadoop.tmp.dir</name>
    8     <!-- 如下爲存放臨時文件的路徑 -->
    9   <value>/opt/hadoop/hadoop-3.1.1/data/tmp</value>
   10  </property>
   11 </configuration>

    

2. 修改hadoop-env.sh

   1 export JAVA_HOME=/usr/jdk/jdk1.8.0_131

    

   注：該步驟須要四臺都配置

3. 修改hdfs-site.xml

    1 <configuration>
    2 <property>
    3   <name>dfs.namenode.http-address</name>
    4  <!-- hserver1 修改成你的機器名或者ip -->
    5   <value>hdp-01:50070</value>
    6  </property>
    7  <property>
    8   <name>dfs.namenode.name.dir</name>
    9   <value>/hadoop/name</value>
   10  </property>
   11  <property>
   12   <name>dfs.replication</name>
   13    <!-- 備份次數 -->
   14   <value>1</value>
   15  </property>
   16  <property>
   17   <name>dfs.datanode.data.dir</name>
   18   <value>/hadoop/data</value>
   19  </property>
   20 
   21 
   22 </configuration>

    

4.  修改mapred-site.xml

   1 <configuration>
   2 <property>
   3 <name>mapreduce.framework.name</name>
   4 <value>yarn</value>
   5 </property>
   6 </configuration>

5. 修改 workers

   1 hdp-01
   2 hdp-02
   3 hdp-03
   4 hdp-04

6.  修改yarn-site.xml文件

    1 <configuration>
    2 
    3 <!-- Site specific YARN configuration properties -->
    4 <property>
    5 <name>yarn.resourcemanager.hostname</name>
    6  <value>hdp-01</value>
    7 </property>
    8 <property>
    9  <name>yarn.nodemanager.aux-services</name>
   10   <value>mapreduce_shuffle</value>
   11 </property>
   12  <property>
   13   <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
   14 <value>org.apache.hadoop.mapred.ShuffleHandler</value>
   15 </property>
   16 <property>
   17  <name>yarn.nodemanager.resource.cpu-vcores</name>
   18  <value>1</value>
   19 </property>
   20 
   21 </configuration>

   注：能夠把整個/usr/hadoop目錄全部文件複製到其他三個機器上 仍是經過scp 嫌麻煩的能夠先整一臺機器，而後再克隆

• 啓動Hadoop

1. 在namenode上初始化

   由於hdp-01是namenode，hdp-0二、hdp=03和hdp-04都是datanode，因此只須要對hdp-01進行初始化操做，也就是對hdfs進行格式化。

    執行初始化腳本，也就是執行命令：hdfs namenode  -format

   等待一會後，不報錯返回 「Exiting with status 0」 爲成功，「Exiting with status 1」爲失敗

    

2. 在namenode上執行啓動命令

   直接執行start-all.sh 觀察是否報錯，如報錯執行一下內容

   $ vim sbin/start-dfs.sh
   $ vim sbin/stop-dfs.sh

   在空白位置加入

   1 HDFS_DATANODE_USER=root
   2 
   3 HADOOP_SECURE_DN_USER=hdfs
   4 
   5 HDFS_NAMENODE_USER=root
   6 
   7 HDFS_SECONDARYNAMENODE_USER=root

    

    

   $ vim sbin/start-yarn.sh 
   $ vim sbin/stop-yarn.sh 

   在空白位置加入

   1 YARN_RESOURCEMANAGER_USER=root
   2 
   3 HADOOP_SECURE_DN_USER=yarn
   4 
   5 YARN_NODEMANAGER_USER=root

    

    

   $ vim start-all.sh

   $ vim stop-all.sh

   1 TANODE_USER=root
   2 HDFS_DATANODE_SECURE_USER=hdfs
   3 HDFS_NAMENODE_USER=root
   4 HDFS_SECONDARYNAMENODE_USER=root
   5 YARN_RESOURCEMANAGER_USER=root
   6 HADOOP_SECURE_DN_USER=yarn
   7 YARN_NODEMANAGER_USER=root

    

   配置完畢後執行start-all.sh

   運行jps

   顯示6個進程說明配置成功

3. 去瀏覽器檢測一下  http://hdp-01:50070

4. 建立目錄 上傳不成功須要受權

   hdfs dfs -chmod -R a+wr hdfs://hdp-01:9000/

    

5. //查看容量
   hadoop fs -df -h /

    

6. 查看各個機器狀態報告

   hadoop dfsadmin -report