spark.sql.shuffle.partitions 和 spark.default.parallelism 的區別

spark.default.parallelism只有在處理RDD時纔會起作用，對Spark SQL的無效。 spark.sql.shuffle.partitions則是對sparks SQL專用的設置 方案實現思路：在對RDD執行shuffle算子時，給shuffle算子傳入一個參數，比如reduceByKey(1000)，該參數就設置了這個shuffle算子執行時shuffle read ta

>>阅读原文<<