Hadoop運行環境搭建

安裝hadoop2.7.2

1. 解壓(/opt/software -> /opt/module)
   • tar -zxvf /hadoop-2.7.2.tar.gz -C /opt/module
2. 環境變量
   • sudo vim /etc/profile

   export HADOOP_HOME=/opt/module/hadoop-2.7.2
   export PATH=$PATH:$HADOOP_HOME/bin
   export PATH=$PATH:$HADOOP_HOME/sbin

3. 配置當即生效
   • source /etc/profile
4. 查看hadoop版本
   • hadoop version

徹底分佈式運行模式

1. 集羣部署規劃（標橫線的不要配置在同一臺服務器上）
   

2. 配置集羣(etc/hadoop/)

   1. 配置core-site.xml(核心配置文件)
      • vi core-site.xml

        <configuration>
        <!-- 指定HDFS中NameNode的地址 -->
        <property>
        <name>fs.defaultFS</name>
        <value>hdfs://fan102:9000</value>
        </property>
        <!-- 指定Hadoop運行時產生文件的存儲目錄 -->
        <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-2.7.2/data/tmp</value>
        </property>
        </configuration>

   2. 配置hadoop-env.sh(HDFS配置文件)
      • vi hadoop-env.sh

        export JAVA_HOME=/opt/module/jdk1.8.0_144

   3. 配置hdfs-site.xml(HDFS配置文件)
      • vi hdfs-site.xml

        <configuration>
        <!-- 指定HDFS副本的數量 -->
        <property>
        <name>dfs.replication</name>
        <value>1</value>
        </property>
        <!-- 指定Hadoop輔助名稱節點主機配置 -->
        <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>fan104:50090</value>
        </property>
        <!-- 開啓瀏覽器訪問HDFS -->
        <property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
        </property>
        </configuration>

   4. 配置yarn-env.sh(YARN配置文件)
      • vi yarn-env.sh

        export JAVA_HOME=/opt/module/jdk1.8.0_144

   5. 配置yarn-site.xml(YARN配置文件)
      • vi yarn-site.xml

        <configuration>
        <!-- Reducer獲取數據的方式 -->
        <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
        </property>
        <!-- 指定YARN的ResourceManager的地址 -->
        <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>fan103</value>
        </property>
        <!-- 歷史服務器端地址 -->
        <!-- 歷史服務器web端地址 -->
        <!-- 日誌彙集功能使能 -->
        <!-- 日誌保留時間設置7天 -->
        </configuration>

   6. 配置mapred-env.sh(MapReduce配置文件)
      • vi mapred-env.sh

        export JAVA_HOME=/opt/module/jdk1.8.0_144

   7. 配置mapred-site.xml(MapReduce配置文件)
      • cp mapred-site.xml.template mapred-site.xml
      • vi mapred-site.xml

        <configuration>
        <!-- 指定MR運行在Yarn上 -->
        <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
        </property>
        </configuration>

   8. 配置slaves(服務器註冊表)
      • vi slaves

        fan102
        fan103
        fan104

   • 補充：配置HDFS存儲多目錄
     • df -h
       查看磁盤使用狀況
     • vi hdfs-site.xml

       <property><name>dfs.datanode.data.dir</name><value>file:///${hadoop.tmp.dir}/dfs/data1,file:///hd2/dfs/data2,file:///hd3/dfs/data3,file:///hd4/dfs/data4</value>
       </property>

3. 啓動分發腳本(pwd /opt/module/)

   • xsync hadoop-2.7.2/

4. 同步配置文件（/etc/profile）

   • scp /etc/profile root@fan103:/etc/profile

啓動集羣

1. 若是集羣是第一次啓動，須要格式化NameNode（注意格式化以前，必定要先中止上次啓動的全部namenode和datanode進程，而後再刪除data和log數據）
   • bin/hdfs namenode -format
2. 啓動HDFS
   • sbin/start-dfs.sh
3. 啓動YARN
   • sbin/start-yarn.sh
     注意：NameNode和ResourceManger若是不是同一臺機器，不能在NameNode上啓動 YARN，應該在ResouceManager所在的機器上啓動YARN。
4. 查看
   1. Web端查看
      • http://fan102:50070/
   2. Web端查看SecondaryNameNode
      • 瀏覽器中輸入：http://fan104:50090/status.html
   3. 查看各個節點狀態
      • jps
   4. 當啓動發生錯誤的時候
      1. 查看日誌：/home/fan/module/hadoop-2.7.2/logs
      2. 若是進入安全模式，能夠經過hdfs dfsadmin -safemode leave
      3. 中止全部進程，刪除data和log文件夾，而後hdfs namenode -format 來格式化