Spark core優化配置參數

Spark core優化配置參數 應用屬性 描述 spark.driver.cores 在集羣模式下管理資源時，用於driver程序的CPU內核數量。默認爲1。在生產環境的硬件上，這個值可能最少要上調到8或16。 spark.driver.maxResultSize 若是應用頻繁用此driver程序，建議對這個值的設置高於其默認值「1g」。0表示沒有限制。這個值反映了Spark action的所有

>>阅读原文<<