Azure和AWS的spark默認模式

Azure平臺的spark默認是cluster模式。

AWS平臺的spark默認是client模式。若是要改成cluster模式。方法1：創建集羣的時候就修改成cluster。 方法2：加入參數"spark.submit.deployMode" : "cluster"

此外，SparkSQL的一些參數，提高性能仍是能夠的     

     "spark.submit.deployMode" : "cluster",
      "spark.dynamicAllocation.enabled" : false,
      "spark.yarn.maxAppAttempts" : 1,
      "spark.sql.sources.parallelPartitionDiscovery.parallelism" : 28,
      "spark.sql.files.maxPartitionBytes" : 1073741824,
      "spark.sql.files.openCostInBytes" : 1048576,
      "spark.sql.shuffle.partitions" : 28

"spark.dynamicAllocation.enabled" : false, 注(此參數分狀況。yarn動態分配資源在任務使用資源，或資源不固定的狀況下能夠使用。可是在資源固定的狀況下，本身手動指定資源分配比較合理)

轉載一篇文章，介紹spark參數的：Spark性能調優1-測試記錄

https://blog.csdn.net/xwc35047/article/details/71038581