spark調優的幾種方法

spark.shuffle.file.buffer 默認值是32k安全 map side task的內存buffer大小，寫數據到磁盤文件以前，會先保存在緩衝中，若是內存充足，能夠適當加大，從而減小map side磁盤IO次數，提高性能網絡 spark.reducer.maxSizeInFlight 默認值是48mapp reduce task的buffer緩衝，表明了每一個reduce task

>>阅读原文<<