Spark(十三)Spark Core 調優之Shuffle調優

文章目錄 1、概述 2、shuffle的定義 3、ShuffleManager發展概述 4、HashShuffleManager的運行原理 4.1 未經優化的HashShuffleManager 4.2 優化後的HashShuffleManager 5、SortShuffleManager運行原理 5.1 普通運行機制 5.2 bypass運行機制 6、shuffle相關參數調優 spark.sh
相關文章
相關標籤/搜索