Spark內存管理模型(二)—— 統一內存管理(Unified Memory Manager)

Spark內存模型在1.6版本之前版本採用的是靜態管理(Static Memory Manager)的方式,在1.6之後採用的是統一管理(Unified Memory Manager)的方式。且Spark的可用內存分爲堆內和堆外,由於堆外的比較簡單,所以本文會對統一管理方式的情況進行講解。 Spark 1.6 之後引入了統一內存管理機制,該機制與靜態內存管理的區別在於,存儲內存(Storage)和
相關文章
相關標籤/搜索