啓動spark任務報錯:ERROR SparkUI: Failed to bind SparkUI

       當啓動一個spark任務的時候,就會佔用一個端口,默認爲4040,從日誌可以看到當端口被佔用時,它會默認依次增加16次到4056,如果還是失敗的話,就會報錯退出。 解決方法: 1. 使用spark-submit提交任務時,在腳本中加配置:--conf spark.port.maxRetries=128(親測有效) 2. 在代碼中初始化SparkConf時,設置conf.set(「sp
相關文章
相關標籤/搜索