spark.sql.shuffle.partitions 和 spark.default.parallelism 的區別

在關於spark任務並行度的設置中，有兩個參數咱們會常常遇到，spark.sql.shuffle.partitions 和 spark.default.parallelism, 那麼這兩個參數到底有什麼區別的？node 首先，讓咱們來看下它們的定義web Property Name Default Meaning spark.sql.shuffle.partitions 200 Configure

>>阅读原文<<