Spark~內存管理

近期在調實驗，發現了一個Java.lang.nullPointerException異常， 導致部分task掛掉，最終通過調節參數內存管理參數成功解決。下面總結一下Spark中的內存管理機制。    從Spark1.6.0開始，Spark的內存管理採用了和之前不同的方式，採用了一種新的內存管理模式叫做統一內存管理，UnifiedMemoryManager。而1.6.0版本之前的Spark的內存管理

>>阅读原文<<