spark性能調優——shuffle調優

目錄   調優概述 ShuffleManager發展概述 HashShuffleManager運行原理 未經優化的HashShuffleManager 優化後的HashShuffleManager SortShuffleManager運行原理 普通運行機制 bypass運行機制 shuffle相關參數調優 spark.shuffle.file.buffer spark.reducer.maxSiz

>>阅读原文<<