Spark動態資源分配

0x0 介紹 再java中使用SparkSession來執行spark任務在代碼編寫上很方便，可是有個問題：SparkSession關閉後沒法再次開啓，這致使咱們會一致佔用申請到的Spark集羣資源（包括內存和CPU），爲了優化這一問題，筆者採用兩種方式： 1、 採用SparkSubmit來提交任務，從而達到每次執行完JOB就釋放資源，可是有個弊端：沒法自由監控JOB執行過程； 關於編程式提交sp

>>阅读原文<<