Spark內存分配和管理模式

本文分爲2個部分：第一部分介紹了Spark的內存分配和管理模式，第二部分是第一部分的運用，介紹了Spark UI中顯示的Storage Memory含義。 內存管理原理 在執行Spark任務時，集羣會啓動Driver和Executor兩種JVM進程，兩個進程有各自的使命，但是內存管理模式卻是一樣。以下進程的內存管理均以Executor進程爲例。 進程的內存管理基於JVM，所以默認包括On-Heap

>>阅读原文<<