spark shuffle的調優（各種參數的設計）

Shuffle 調優         1).             spark.shuffle.file.buffer 32k             spark.reducer.maxSizeInFlight 48M             spark.shuffle.io.maxRetries 3             spark.shuffle.io.retryWait 5s      

>>阅读原文<<