Spark 內存溢出 處理 及 優化

內存溢出解決方法 1. map過程產生大量對象導致內存溢出 這種溢出的原因是在單個map中產生了大量的對象導致的。 例如：rdd.map(x=>for(i <- 1 to 10000) yield i.toString)，這個操作在rdd中，每個對象都產生了10000個對象，這肯定很容易產生內存溢出的問題。針對這種問題，在不增加內存的情況下，可以通過減少每個Task的大小，以便達到每個Task即使

>>阅读原文<<