Spark SortShuffleManager 運行原理

SortShuffleManager運行原理 SortShuffleManager的運行機制主要分成兩種，一種是普通運行機制，另一種是bypass運行機制。當shuffle read task的數量小於等於spark.shuffle.sort.bypassMergeThreshold參數的值時（默認爲200），就會啓用bypass機制。 普通運行機制　　下圖說明了普通的SortShuffleMan

>>阅读原文<<