spark shuffle優化-參數調優

spark shuffle優化-參數調優 常用參數列舉： spark.reducer.maxSizeInFlight spark.shuffle.compress spark.shuffle.file.buffer spark.shuffle.io.maxRetries spark.shuffle.io.retryWait 調優參數一定要設置合理，效率才能事半功倍  

>>阅读原文<<