Spark性能調優-集羣資源分配策略

展開 開發完成Spark做業以後，咱們在運行Spark做業的時候須要爲其配置一些資源參數，好比num-executors，executor-memory等，這些參數基本上都是能夠在spark-submit命令中做爲參數設置，可是如何設置合適的參數值是須要咱們權衡考慮的（集羣資源，調優經驗，任務大小等）。參數設置的不合適每每會致使集羣資源得不到有效的利用，設置的太大可能會致使資源不夠而引起異常，過小

>>阅读原文<<