Spark性能調優之Shuffle調優

    • shuffle過程中常出現的問題 常見問題一：reduce oom?     問題原因：        reduce task 去map端獲取數據，reduce一邊拉取數據一邊聚合，reduce端有一塊聚合內存（executor memory * 0.2）,也就是這塊內存不夠      解決辦法：                            1.增加reduce 聚合操作的內

>>阅读原文<<