Spark的兩種核心shuffle是什麼？

spark的Shuffle有Hash Shuffle和Sort Shuffle兩種。 在Spark 1.2以前，默認的shuffle計算引擎是HashShuffleManager。 　　HashShuffleManager有着一個非常嚴重的弊端，就是會產生大量的中間磁盤文件，進而由大量的磁盤IO操作影響了性能。因此在Spark 1.2以後的版本中，默認的ShuffleManager改成了SortS

>>阅读原文<<