Spark內存管理機制

a.      Spark靜態內存管理 在Spark 1.5版本及以前,Spark採用靜態內存管理模型。對於一個Executor,對應的JVM Heap內存主要由三個獨立的區塊組成,如圖所示。 靜態內存管理 ​Storage Memory。這片內存區域是爲了解決對RDD進行的Cache緩存(通過程序中調用rdd.cache,rdd.persist等方法),還有節點間傳輸的廣播變量Broadcas
相關文章
相關標籤/搜索