Spark四種性能調優思路(三)——shuffle調優

Spark中的性能消耗主要都是在shuffle環節,對shuffle部分進行調優是很有必要的 Spark中負責shuffle過程的執行、計算和處理的組件主要就是ShuffleManager。在0.8的版本中出現了優化之後的HashShuffleManager,同時在spark1.2的版本出現的SortShuffleManager成爲了默認的shuffle處理方式,目前的版本就只有一個SortShu
相關文章
相關標籤/搜索