spark 查看 job history 日誌

SPARK_HOME/conf 下:

spark-defaults.conf 增長以下內容

spark.eventLog.enabled true 
spark.eventLog.dir hdfs://master:8020/var/log/spark 
spark.eventLog.compress true

spark-env.sh 增長以下內容

export SPARK_HISTORY_OPTS=」-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs:/master.et2:8020/var/log/spark」

啓動start-history-server.sh

SPARK_HOME/conf 下: 執行 ./start-history-server.sh

spark job history web: master:18080

這樣在spark任務運行完成以後,就能夠經過web頁面查看日誌了

history server相關的配置參數描述

1. spark.history.updateInterval 
   　　默認值：10 
   　　以秒爲單位，更新日誌相關信息的時間間隔

2. spark.history.retainedApplications 
   　　默認值：50 
   　　在內存中保存Application歷史記錄的個數，若是超過這個值，舊的應用程序信息將被刪除，當再次訪問已被刪除的應用信息時須要從新構建頁面。

3. spark.history.ui.port 
   　　默認值：18080 
   　　HistoryServer的web端口

4. spark.history.kerberos.enabled 
   　　默認值：false 
   　　是否使用kerberos方式登陸訪問HistoryServer，對於持久層位於安全集羣的HDFS上是有用的，若是設置爲true，就要配置下面的兩個屬性

5. spark.history.kerberos.principal 
   　　默認值：用於HistoryServer的kerberos主體名稱

6. spark.history.kerberos.keytab 
   　　用於HistoryServer的kerberos keytab文件位置

7. spark.history.ui.acls.enable 
   　　默認值：false 
   　　受權用戶查看應用程序信息的時候是否檢查acl。若是啓用，只有應用程序全部者和spark.ui.view.acls指定的用戶能夠查看應用程序信息;不然，不作任何檢查

8. spark.eventLog.enabled 
   　　默認值：false 
   　　是否記錄Spark事件，用於應用程序在完成後重構webUI

9. spark.eventLog.dir 
   　　默認值：file:///tmp/spark-events 
   　　保存日誌相關信息的路徑，能夠是hdfs://開頭的HDFS路徑，也能夠是file://開頭的本地路徑，都須要提早建立

10. spark.eventLog.compress 
    　　默認值：false 
    　　是否壓縮記錄Spark事件，前提spark.eventLog.enabled爲true，默認使用的是snappy

以spark.history開頭的須要配置在spark-env.sh中的SPARK_HISTORY_OPTS，以spark.eventLog開頭的配置在spark-defaults.conf 
尊重原創，未經容許不得轉載：http://blog.csdn.net/stark_summer/article/details/46459701