SparkTroubleshooting 故障排除

一 控制reduce端緩衝區大小，避免OOM buffer默認大小爲48M reduce端的task會一邊拉取一邊計算，不一定每次都會拉滿48M 雖然增大reduce可以減少拉取次數，提高shuffle性能，但是map端數據量很大，寫出的速度很快，reduce端在拉取的時候可能達到自己的緩衝的最大極限值（48M），再加上reduce執行聚合函數可能創建大量的對象，可能會導致內存溢出。 處理方式：此

>>阅读原文<<