SPARK task執行與資源分配的關係

SPARK task執行與資源分配的關係 問題背景 執行spark某個sparkjob申請的資源是150個Executor，可是直至job執行結束（大約30多分鐘），分配給該job的Executor個數是49個； 該job正常試行時間大約是14分鐘，但因爲這次分配該job的Executor個數少於150致使job執行過長大約30多分鐘； 問題：爲何沒有得到足夠的資源，job就開始執行了?css 問

>>阅读原文<<