啓動YARN

  啓動 Hadoop,僅僅是啓動了 MapReduce 環境,咱們能夠啓動 YARN ,讓 YARN 來負責資源管理與任務調度。node

首先修改配置文件 mapred-site.xml,須要先進行重命名:服務器

cd /usr/local/hadoop
mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml

而後再進行編輯( gedit ./etc/hadoop/mapred-site.xml ):oop

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

接着修改配置文件 yarn-site.xmlspa

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
        </property>
</configuration>

而後就能夠啓動 YARN 了(須要先執行過 ./sbin/start-dfs.sh):code

./sbin/start-yarn.sh      # 啓動YARN
./sbin/mr-jobhistory-daemon.sh start historyserver  # 開啓歷史服務器,才能在Web中查看任務運行狀況

開啓後經過 jps 查看,能夠看到多了 NodeManager 和 ResourceManager 兩個後臺進程server

 

  啓動 YARN 以後,運行實例的方法仍是同樣的,僅僅是資源管理方式、任務調度不一樣。但 YARN 主要是爲集羣提供更好的資源管理與任務調度,然而這在單機上體現不出價值,反而會使程序跑得稍慢些.xml

不啓動 YARN 需重命名 mapred-site.xml:若是不想啓動 YARN,務必把配置文件 mapred-site.xml 重命名,改爲 mapred-site.xml.template,須要用時改回來就行。blog

關閉 YARN :進程

./sbin/stop-yarn.sh
./sbin/mr-jobhistory-daemon.sh stop historyserver
相關文章
相關標籤/搜索