Centos7徹底分佈式搭建Hadoop2.7.3

時間 2019-11-18

標籤 centos7 centos 徹底分佈式搭建 hadoop2.7.3 hadoop 欄目 Tomcat 简体版

原文原文鏈接

(一）軟件準備html

1，hadoop-2.7.3.tar.gz（包）node

2,三臺機器裝有cetos7的機子web

（二）安裝步驟apache

　　1，給每臺機子配相同的用戶vim

　　　　進入root : su rootcentos

　　　　建立用戶s: useradd s安全

　　　　修改用戶密碼：passwd sapp

　　2.關閉防火牆及修改每臺機的hosts(root 下）ssh

　　　　vim /etc/hosts 如：（三臺機子都同樣）webapp

　　　　vim /etc/hostsname:如修改後參看各自的hostname

　　　　關閉防火牆：

　　　　　　systemctl stop firewalld.service

　　　　　　禁用防火牆：systemctl disable firewalld.service

　　　　　　查看防火牆狀態firewall-cmd --state

　　　　　　重啓 reboot

　　3,爲每臺機的用戶s配置ssh，以用戶s身份登陸 (必定要相同的用戶，由於ssh通訊默認使用相同用戶身份訪問另外一臺機子）

　　　　1,root 用戶下修改： vim /etc/ssh/sshd_config,設置這三項後，執行service sshd restart

　　　　2，退出root，在用戶s下操做

　　　　　　生成密鑰對： ssh-keygen -t dsa（一路回車便可）

　　　　　　轉入ssh目錄下：cd .ssh

　　　　　　導入公鑰：　cat id_dsa.pub >> authorized_keys

　　　　　　修改authorized_keys權限：chmod 644 　　　　　　

　　　　　　authorized_keys (修改權限，保證本身免密碼能登入)

　　　　　　驗證 ssh Master　（在三臺機都執行相同的操做）

　　　　3，實現master-slave免密碼登陸

　　　　　　在master 上執行：　　 cat ~/.ssh/id_dsa.pub | ssh s@Slave1 'cat - >> ~/.ssh/authorized_keys'

　　　　　　　　　　　　　　　　cat ~/.ssh/id_dsa.pub | ssh s@Slave2 'cat - >> ~/.ssh/authorized_keys '

　　　　　　驗證 :ssh Slave1

（三）配置Hadoop集羣

　　　　1，解壓hadoop和創建文件

　　　　　　root用戶下：tar zxvf /home/hadoop/hadoop-2.7.3.tar.gz -C /usr/

　　　　　　重命名：mv hadoop-2.7.3 hadoop

　　　　　　受權給s: chown -R s /usr/hadoop

　　　　2，建立hdfs相關文件（三臺機子都須要操做）

　　　　　　建立存儲hadoop數據文件的目錄: mkdir /home/hadoopdir

　　　　　　存儲臨時文件，如pid：mkdir /home/hadoopdir/tmp

　　　　　　建立dfs系統使用的dfs系統名稱hdfs-site.xml使用:mkdir /home/hadoopdir/dfs/name

　　　　　　建立dfs系統使用的數據文件hdfs-site.xml文件使用:mkdir /home/hadoopdir/dfs/data

　　　　　　受權給s: chown -R s /home/hadoopdir

　　　　3，配置環境變量(三臺機子都須要操做）

　　　　 root用戶下：vim /etc/profile 添加如圖：保存退出後:source /etc/profile

　　　　　　　　　　驗證：hadoop version（這裏要修改 /usr/hadoop/etc/hadoop/hadoop-env.sh，即export JAVA_HOME=/usr/lib/jvm/jre）

　　　　4，配置hadoop文件內容

　　　　　　4.1 修改core-site.xml　　　　　　　　

<configuration>
       <property>
                <name>fs.defaultFS</name>
                <value>hdfs://Master:9000</value>
       </property>
       <property>
                <name>io.file.buffer.size</name>
                <value>131072</value>
        </property>
       <property>
               <name>hadoop.tmp.dir</name>
               <value>file:/home/hadoopdir/tmp/</value>
               <description>A base for other temporary   directories.</description>
       </property>
        <property>
               <name>hadoop.proxyuser.hadoop.hosts</name>
               <value>*</value>
       </property>
       <property>
               <name>hadoop.proxyuser.hadoop.groups</name>
               <value>*</value>
       </property>
</configuration>

　　　　　4.2 修改hdfs-site.xml文件

<configuration>
     <property>
             <name>dfs.namenode.name.dir</name>
             <value>file:///home/hadoopdir/dfs/name</value>
       </property>
      <property>
              <name>dfs.datanode.data.dir</name>
              <value>file:///home/hadoopdir/dfs/data</value>
       </property>
       <property>
               <name>dfs.replication</name>
               <value>2</value>
        </property>
        <property>
                 <name>dfs.webhdfs.enabled</name>
                  <value>true</value>
         </property>
</configuration>

　　　　4.3 修改mapred-site.xml

<configuration>         
<property> 
      <name>mapreduce.framework.name</name>
          <value>yarn</value>
           </property>
          <property>
                  <name>mapreduce.jobhistory.address</name>
                  <value>Master:10020</value>
          </property>
          <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>Master:19888</value>
       </property>
 <property>
                <name>mapreduce.jobtracker.http.address</name>
                <value>Master:50030</value>
       </property>
 <property>
                <name>mapred.job.tracker</name>
                <value>Master:9001</value>
       </property>
</configuration>

　　　　4.4 修改 yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
        <property>
               <name>yarn.nodemanager.aux-services</name>
               <value>mapreduce_shuffle</value>
        </property>
        <property>                                                               
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
               <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
<property>
               <name>yarn.resourcemanager.hostname</name>
               <value>Master</value>
       </property>
        <property>
               <name>yarn.resourcemanager.address</name>
               <value>Master:8032</value>
       </property>
       <property>
               <name>yarn.resourcemanager.scheduler.address</name>
               <value>Master:8030</value>
       </property>
       <property>
            <name>yarn.resourcemanager.resource-tracker.address</name>
             <value>Master:8031</value>
      </property>
      <property>
              <name>yarn.resourcemanager.admin.address</name>
               <value>Master:8033</value>
       </property>
       <property>
               <name>yarn.resourcemanager.webapp.address</name>
               <value>Master:8088</value>
       </property>
</configuration>