Spark的內存管理

spark在執行應用程序時,Spark集羣會啓動Driver和Executor兩種JVM進程 Driver : 創建SparkContext上下文,提交任務,task的分發 Executor: 負責task的計算任務,並將結果返回給Driver,同時需要爲需要持久化的RDD提供儲存 Driver端的內存管理比較簡單,這裏內存管理針對是Executor端的內存管理 spark1.6之前使用的是靜態內

>>阅读原文<<