Hadoop 各類日誌文件總結

參考資料：hadoop 日誌存放位置

一、Hadoop MapReduce日誌分類

1）、服務日誌

2）、做業日誌

二、Hadoop 1.x版本中MapReduce的服務日誌包括？

1）、JobTracker日誌

JobTracker：在JobTracker安裝節點上，默認位置是
        ${hadoop.log.dir}/logs/*-jobtracker-*.log，該文件天天生成一個，舊的日誌後綴是日期，當天的日誌文件後綴是「.log」，其中${hadoop.log.dir}默認值是hadoop安裝目錄，即${HADOOP_HOME}。

2）、各個TaskTracker日誌

TaskTracker：在各個TaskTracker安裝節點上，默認位置是
    $HADOOP_HOME/logs/*-tasktracker-*.log，該文件天天生成一個，舊的日誌後面會跟一個日誌，當天的日誌文件後綴是「.log」

三、做業日誌包括哪兩部分日誌？

    做業日誌包括jobhistory日誌和task日誌兩部分

四、jobhistory日誌的做用？

    jobhistory日誌是做業運行日誌，包括做業啓動時間、結束時間、每一個任務的啓動時間、結束時間、各類counter信息等，用戶能夠從這個日誌中解析出做業運行的各類信息，是很是有價值的信息。

五、jobhistory日誌默認存放位置？

    默認存放位置是JobTracker所在節點的${hadoop.log.dir}/history目錄下

六、jobhistory日誌存放位置可經過什麼選項配置？

    可經過參數hadoop.job.history.location配置。

七、task日誌存放位置？

    每一個task日誌存放在task運行節點上，存放位置是${hadoop.log.dir}/userlogs//目錄下。

八、每一個task日誌包含哪幾個子文件？

    每一個task包含三個日誌文件，分別是stdout、stderr和syslog。

    1）、stdout

    stdout：是經過標準輸出打印出來的日誌。

    好比System.out.println，注意，程序中經過標準輸出打印的日誌並不會直接顯示在終端上，而是保存在這個文件中。

    2）、syslog

    syslog是經過log4j打印的日誌，一般這個日誌中包含的有用信息最多，也是錯誤調試中最關鍵的參考日誌。