Spark內存管理(2)—— 統一內存管理

Spark內存管理系列文章: Spark內存管理(1)—— 靜態內存管理 堆內內存 Spark 1.6之後引入的統一內存管理機制,與靜態內存管理的區別在於Storage和Execution共享同一塊內存空間,可以動態佔用對方的空閒區域 其中最重要的優化在於動態佔用機制,其規則如下: 設定基本的Storage內存和Execution內存區域(spark.storage.storageFraction
相關文章
相關標籤/搜索