Spark性能調優-----算子調優（四）repartition解決SparkSQL低並行度問題

常規性能調優中咱們講解了並行度的調節策略，可是，並行度的設置對於Spark SQL是不生效的，用戶設置的並行度只對於Spark SQL之外的全部Spark的stage生效。 Spark SQL的並行度不容許用戶本身指定，Spark SQL本身會默認根據hive表對應的HDFS文件的split個數自動設置Spark SQL所在的那個stage的並行度，用戶本身通spark.default.paral

>>阅读原文<<