hadoop-3.2.0------>入門八 僞分佈式 配置日誌彙集

1、日誌彙集概念

            應用運行完成之後，將程序運行日誌信息上傳到HDFS系統上

2、日誌彙集功能好處

            能夠方便的查看到程序運行的詳情，方便開發調試

3、注意

            開啓日誌彙集功能，須要重啓NodeManager、ResourceManager和HistoryManager

            關閉命令：

                    關閉NodeManager：sbin/yarn-daemon.sh stop nodemanager

                    關閉ResourceManager：sbin/yarn-daemon.sh stop resourcemanager

                    關閉HistoryManager：sbin/mr-jobhistory-daemon.sh stop historyserver

                    

4、配置日誌彙集

           一、配置yarn-site.xml（命令：vi etc/hadoop/yarn-site.xml）

                       配置信息以下

<!--日誌彙集功能-->
                        <property>
                            <name>yarn.log-aggregation-enable</name>
                            <value>true</value>
                        </property>
                        <!-- 日誌保留時間單位是秒  這裏我設置爲7天-->
                        <property>
                            <name>yarn.log-aggregation.retain-seconds</name>
                            <value>604800</value>
                        </property>

                        

           二、啓動NodeManager、ResourceManager和HistoryManager

                    開啓命令：

                            開啓NodeManager：sbin/yarn-daemon.sh stop nodemanager

                            開啓ResourceManager：sbin/yarn-daemon.sh stop resourcemanager

                            開啓HistoryManager：sbin/mr-jobhistory-daemon.sh stop historyserver

                            

 

           四、刪除咱們以前運行過得wordcount用例的輸出文件（命令：bin/hdfs dfs -rm -r /user/root/output）

                            

           五、運行wordcount程序。(命令：bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.0.jar wordcount  /user/root/input  /user/root/output)

            六、查看log文件

                    一、瀏覽器輸入ip+端口號訪問yarn頁面

           

                    二、點擊history進入歷史服務器

 

                    三、點擊logs查看日誌