hadoop 學習（五） 配置歷史服務器和日誌彙集

配置歷史服務

進入目錄 /opt/module/hadoop-2.7.7/etc/hadoop 

vim mapred-site.xml 

增長曆史服務器的配置 

<!-- 歷史服務器端地址 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadooptest:10020</value>
</property>
<!-- 歷史服務器web端地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadooptest:19888</value>
</property>

 

hadooptest是本機hostname

啓動歷史服務 

 

sbin/mr-jobhistory-daemon.sh start historyserver  

啓動後jps查看  

 

啓動成功後進入頁面  ip:19888 

 

配置日誌彙集

進入目錄 /opt/module/hadoop-2.7.7/etc/hadoop 

vim yarn-site.xml

<!-- 日誌彙集功能使能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>

<!-- 日誌保留時間設置7天 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>

關閉NodeManager 、ResourceManager和HistoryManager

 sbin/yarn-daemon.sh stop resourcemanager

sbin/yarn-daemon.sh stop nodemanager

sbin/mr-jobhistory-daemon.sh stop historyserver

啓動NodeManager 、ResourceManager和HistoryManager

 sbin/yarn-daemon.sh start resourcemanager

sbin/yarn-daemon.sh start nodemanager

 sbin/mr-jobhistory-daemon.sh start historyserver

1. 刪除HDFS上已經存在的輸出文件

bin/hdfs dfs -rm -R /user/atguigu/output

1. 執行WordCount程序

 hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar wordcount /user/lcy/input /user/lcy/output