Spark性能優化：Shuffle性能優化

new SparkConf().set(「spark.shuffle.consolidateFiles」, 「true」)web spark.shuffle.consolidateFiles：是否開啓shuffle block file的合併，默認爲false緩存 spark.reducer.maxSizeInFlight：reduce task的拉取緩存，默認48msvg spark.shuff

>>阅读原文<<