經過spark-submit提交hadoop配置的方法

經過spark提交的spark開頭的配置在程序啓動後會添加到SparkConf中，可是hadoop相關的配置非spark開頭會被過濾掉，可是隻要在這些配置的key前面添加spark.hadoop.前綴，則該key就不會被過濾，會被放置到SparkConf中；最終會存儲在Configuration  對象中，存入以前會將  spark.hadoop.前綴截掉（如：hbase的hbase.zookeeper.quorum，則這樣傳遞：spark-submit --conf  spark.hadoop.hbase.zookeeper.quorum），見下方截圖代碼邏輯

在spark應用中若是要是用這些key,只須要添加以下代碼便可：

Configuration  conf = ss.sparkContext().hadoopConfiguration();

String quorum = conf.get("hbase.zookeeper.quorum");