[spark 面試]Reduce端OOM和shuffle file not found如何解決

1、Reduce端的OOM如何解決？  2、Shuffle file not found如何解決？ OOM產生的原因：數據對象太多。通過減少減小Cache層大小，從而減少OOM  代價：從Mapper端拉去數據的次數增多，性能下降 如果發生Reducer端的OOM，可以減少每個Reduce Task的緩存的大小，例如從默認的48MB降低到24MB，這樣讓程序可以從OOM崩潰的狀態到可以運行的狀態；

>>阅读原文<<