Spark~內存管理

近期在調實驗，發現了一個Java.lang.nullPointerException異常， 致使部分task掛掉，最終經過調節參數內存管理參數成功解決。下面總結一下Spark中的內存管理機制。   緩存 從Spark1.6.0開始，Spark的內存管理採用了和以前不一樣的方式，採用了一種新的內存管理模式叫作統一內存管理，UnifiedMemoryManager。而1.6.0版本以前的Spark的內

>>阅读原文<<