Spark性能優化五之提高並行度

設置合理的並行度，來充分地利用集羣的資源 使用spark.default.parallelism參數，來設置統一的並行度。Spark官方的推薦是，給集羣中的每個cpu core設置2~3個task。 比如說，spark-submit設置了executor數量是10個，每個executor要求分配2個core，那麼application總共會有20個core。此時可以設置new SparkConf(

>>阅读原文<<