Spark靜態內存管理:StaticMemoryManager

MemoryManager將堆空間靜態分區爲不相交的區域。分別通過spark.shuffle.memoryFraction和spark.storage.memoryFraction來確定執行和存儲區域的大小 。這兩個區域是完全分離的,使得兩者都不能從另一個借用內存。 例如Executor的可用Heap大小是10G,實際上Spark只能使用90%,也就是9G的大小,是由spark.storage.s
相關文章
相關標籤/搜索