spark內存管理

Spark執行應用程序時，Spark集羣會啓動Driver和Executor兩種JVM進程，Driver負責創建SparkContext上下文，提交任務，task的分發等。Executor負責task的計算任務，並將結果返回給Driver。同時需要爲需要持久化的RDD提供儲存。Driver端的內存管理比較簡單，這裏所說的Spark內存管理針對Executor端的內存管理。Spark內存管理分爲靜態

>>阅读原文<<