Spark 性能調優之 repartition解決spark sql低並行度問題

首先，仍是拋出官網調優文檔吧 參考2.0版本 http://spark.apache.org/docs/2.0.2/tuning.html#level-of-parallelismhtml 所以 按照這個說明 根據你的application的總cpu core數量（在spark-submit中能夠指定，200個），本身手動設置spark.default.parallelism參數，指定爲cpu c

>>阅读原文<<