Spark性能調優-----算子調優（四）repartition解決SparkSQL低並行度問題

常規性能調優中我們講解了並行度的調節策略，但是，並行度的設置對於Spark SQL是不生效的，用戶設置的並行度只對於Spark SQL以外的所有Spark的stage生效。 Spark SQL的並行度不允許用戶自己指定，Spark SQL自己會默認根據hive表對應的HDFS文件的split個數自動設置Spark SQL所在的那個stage的並行度，用戶自己通spark.default.paral

>>阅读原文<<