spark的shuffle詳解

spark的shuffle兩種實現 在Spark 1.2以前，默認的shuffle計算引擎是HashShuffleManager。該ShuffleManager而HashShuffleManager有着一個非常嚴重的弊端，就是會產生大量的中間磁盤文件，進而由大量的磁盤IO操作影響了性能。 在Spark 1.2以後的版本中，默認的ShuffleManager改成了SortShuffleManager

>>阅读原文<<