55、Spark性能優化之提高並行度

提高並行度原理.png spark-submit裏,配置了兩個Executor,每個Executor,有5個cpu core val conf = new SparkConf().setAppName("WordCount").set("spark.default.parallelism", "5") 這個參數一旦設置了,也就是,所有的RDD的partition都被設置成了5個,也就是說每個RDD
相關文章
相關標籤/搜索