Spark因爲端口號無限增加報錯和任務跑完就關閉的解決方案

Spark任務都會綁定一個端口來顯示WebUI，默認端口爲4040，若是被佔用則依次遞增+1端口重試，重試次數由參數spark.port.maxRetries=16控制，默認重試16次後就放棄執行shell 當有17個app進來會報錯，最多能運行16個做業app 咱們工做中，必定要把這個參數調大，通常都好幾千ui spark.eventLog.enabled=true 即便spark任務運行結束，

>>阅读原文<<