Spark調優之Shuffle調優 調節HashShuffleManager與SortShuffleManager

簡述Shuffle Manager 首先聲明一點，筆者之前寫的spark shuffle調優，基於的Shuffle Manager是HashShuffleManager。而Spark1.2.x以後，HashShuffleManager不再是Spark默認的Shuffle Manager。 Spark1.2.x以後，Spark默認的Shuffle Manager是SortShuffleManager

>>阅读原文<<