spark--shuffle配置

概述 Shuffle是Spark Core比較複雜的模塊，它也是很是影響性能的操做之一。所以，在這裏整理了會影響Shuffle性能的各項配置。web 1）spark.shuffle.manager Spark 1.2.0官方版本支持兩種方式的Shuffle，即Hash Based Shuffle和Sort Based Shuffle。其中在Spark 1.0以前僅支持Hash Based Shuf

>>阅读原文<<