Spark 中如何設置executor個數 以及task並行度

一.指定spark executor 數量的公式 executor 數量 = spark.cores.max/spark.executor.coreshtml spark.cores.max 是指你的spark程序須要的總核數 spark.executor.cores 是指每一個executor須要的核數 二.指定並行的task數量 spark.default.parallelism 參數說明：該

>>阅读原文<<