hadoop-3.2.0------>入門六僞分佈式 YARN運行MapReduce

時間 2019-11-07

標籤 hadoop 3.2.0 入門分佈式 yarn 運行 mapreduce 欄目 Hadoop 简体版

原文原文鏈接

1、配置yarn配置文件：

一、進入到hadoop根目錄下java

二、配置yarn-env.sh（命令：vi etc/hadoop/yarn-env.sh）node

將jdk安裝路徑配置到配置文件最下方（配置文件寫法：export JAVA_HOME=/usr/local/java/jdk1.8.0_131）app

三、配置yarn-site.xml （命令：vi etc/hadoop/yarn-site.xml ）oop

<!--Reducer獲取數據方式-->
                <property>
                  <name>yarn.nodemanager.aux-services</name>
                  <value>mapreduce_shuffle</value>
                </property>
                <!--yarn的resourcemanager地址-->
                <property>
                  <name>yarn.resourcemanager.address</name>
                  <value>localhost</value>
                </property>

四、配置mapred-env.sh （命令：vi etc/hadoop/mapred-env.sh）spa

將jdk安裝路徑配置到配置文件最下方（配置文件寫法：export JAVA_HOME=/usr/local/java/jdk1.8.0_131）3d

五、配置mapred-site.xml（命令：vi etc/hadoop/mapred-site.xml）xml

注意：若是沒有mapred-site.xml文件，能夠查看有沒有mapred-site.xml.template文件，若是有將該文件重命名爲mapred-site.xml，在進行下面操做。blog

將下面配置信息粘貼進去ip

               <!--指定MR運行在yarn上-->
                <property>
                      <name>mapreduce.framework.name</name>
                      <value>yarn</value>
                </property>
                <property>
                      <name>yarn.app.mapreduce.am.env</name>
                      <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
                </property>
                <property>
                      <name>mapreduce.map.env</name>
                      <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
                </property>
                <property>
                      <name>mapreduce.reduce.env</name>
                      <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
                </property>