Spark History Server配置

本文是對於本身編譯的Spark部署，若是是CDH集成的Spark則可直接在管理界面中查看。

1.在hdfs中建立一個目錄，用於保存Spark運行日誌信息。

]$ hdfs dfs -mkdir /spark/historylog

2.配置spark conf，使Spark History Server今後目錄中讀取日誌信息

]$ vim spark-defaults.conf
spark.eventLog.compress          true
spark.eventLog.dir               hdfs://nameservice1/spark/historylog
spark.yarn.historyServer.address hadoop002:18080

其中spark.eventLog.dir保存日誌相關信息的路徑，能夠是hdfs://開頭的HDFS路徑，也能夠是file://開頭的本地路徑，都須要提早建立。

3.添加環境參數

]$ vim spark-env.sh
    export SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=hdfs://mycluster/spark/historylog \
    -Dspark.history.ui.port=18080 \
    -Dspark.history.retainedApplications=20"

4.啓動服務

]# ./sbin/start-history-server.sh