Spark 內存溢出 處理 及 優化

內存溢出解決方法 1. map過程產生大量對象致使內存溢出 這種溢出的緣由是在單個map中產生了大量的對象致使的。sql 例如：rdd.map(x=>for(i <- 1 to 10000) yield i.toString)，這個操做在rdd中，每一個對象都產生了10000個對象，這確定很容易產生內存溢出的問題。針對這種問題，在不增長內存的狀況下，能夠經過減小每一個Task的大小，以便達到每一個

>>阅读原文<<