spark log4j 日誌配置

如今咱們介紹spark (streaming) job獨立配置的log4j的方法，經過查看官方文檔，要爲應用主程序（即driver端）或執行程序使（即executor端）自定義log4j配置，須要兩步就完成了，下面具體說明。
第一步：上傳自定義 log4j-driver.properties和log4j-executor.properties
第二步：添加-Dlog4j的配置。使用 --conf參數。
    用於驅動程序：spark.driver.extraJavaOptions = -Dlog4j.configuration = <配置文件的位置>
    用於執行者：spark.executor.extraJavaOptions= -Dlog4j.configuration = <配置文件的位置>
注意：driver端還可使用spark-submit的--driver-java-options參數去配置。
方案一：使用  spark-submit的 --files 參數將自定義的配置文件上傳到應用程序的文件列表中。

spark-submit 
--class com.hm.spark.Application 
--master yarn --deploy-mode cluster 
--driver-cores 1 --driver-memory 1G 
--num-executors 2 --executor-cores 1 --executor-memory 1G 
--driver-java-options "-Dlog4j.configuration=log4j-driver.properties" 
--conf spark.executor.extraJavaOptions="-Dlog4j.configuration=log4j-executor.properties" 
--files /home/hadoop/spark-workspace/log4j-driver.properties,/home/hadoop/spark-workspace/log4j-executor.properties 
/home/hadoop/spark-workspace/my-spark-etl-assembly-1.0-SNAPSHOT.jar

注意，這裏我沒有使用spark.driver.extraJavaOptions參數去配置，而是使用spark-submit的--driver-java-options參數進行設置的。
方案二：不使用  spark-submit的 --files 參數上傳文件，直接使用文件。

spark-submit 
--class com.hm.spark.Application 
--master yarn --deploy-mode cluster 
--driver-cores 1 --driver-memory 1G 
--num-executors 2 --executor-cores 1 --executor-memory 1G 
--driver-java-options "-Dlog4j.configuration=file:/home/hadoop/spark-workspace/log4j-driver.properties " 
--conf spark.executor.extraJavaOptions="-Dlog4j.configuration=file:/home/hadoop/spark-workspace/log4j-executor.properties" 
/home/hadoop/spark-workspace/my-spark-etl-assembly-1.0-SNAPSHOT.jar