Spark 做業執行經常使用參數、經常使用優化參數

1. spark重試次數 失敗重試次數，默認重試4次，前期任務調試階段，重試次數最好設置爲1，能夠較快獲得執行結果；後期業務上線，也使用默認參數web --conf spark.yarn.maxAppAttempts=1 2. 開啓Driver多線程機制 .set("spark.driver.allowMultipleContexts", "true") 3.開啓自動調節機制,根據當前的處理速度自

>>阅读原文<<