spark從入門到放棄二十七:Spark 性能優化(10)shuffle 性能優化

文章地址：http://www.haha174.top/article/details/251220 1 consolidation new SparkConf().set(「spark.shuffle.consolidateFiles」,」true」) 是否開啓shuffle block file 的合併 默認false 沒有開啓consolidation 機制的時候，shuffle write

>>阅读原文<<