Spark四種性能調優思路（三）——shuffle調優

Spark中的性能消耗主要都是在shuffle環節，對shuffle部分進行調優是很有必要的 Spark中負責shuffle過程的執行、計算和處理的組件主要就是ShuffleManager。在0.8的版本中出現了優化之後的HashShuffleManager，同時在spark1.2的版本出現的SortShuffleManager成爲了默認的shuffle處理方式，目前的版本就只有一個SortShu

>>阅读原文<<