Spark面對OOM問題的解決方法及優化總結 (轉載)

      Spark中的OOM問題不外乎以下兩種情況 map執行中內存溢出 shuffle後內存溢出     map執行中內存溢出代表了所有map類型的操作，包括：flatMap，filter，mapPatitions等。shuffle後內存溢出的shuffle操作包括join，reduceByKey，repartition等操作。後面先總結一下我對Spark內存模型的理解，再總結各種OOM的情

>>阅读原文<<