【原創】大叔經驗分享（14）spark on yarn提交任務到集羣后spark-submit進程一直等待

spark on yarn經過--deploy-mode cluster提交任務以後，應用已經在yarn上執行了，可是spark-submit提交進程還在，直到應用執行結束，提交進程纔會退出，有時這會很不方便，而且不注意的話還會佔用不少資源，好比提交spark streaming應用；

最近發現spark裏有一個配置能夠修改這種行爲，提交任務的時候加長一個conf就能夠

--conf spark.yarn.submit.waitAppCompletion=false

org.apache.spark.deploy.yarn.config

  private[spark] val WAIT_FOR_APP_COMPLETION = ConfigBuilder("spark.yarn.submit.waitAppCompletion")
    .doc("In cluster mode, whether to wait for the application to finish before exiting the " +
      "launcher process.")
    .booleanConf
    .createWithDefault(true)