Spark 2 內存管理之源碼剖析

本課主題  Static MemoryManager 的源碼鑑賞   Unified MemoryManager 的源碼鑑賞   引言 從源碼的角度瞭解 Spark 內存管理是怎麼設計的,從而知道應該配置那個參數讓程序運行更適合你的實際需要,我們爲什麼要把 Spark Memory 這塊內存調大,原因很簡單,理論上講你調得愈來,你佔用的空間愈大,程序運行時所產生的 IO 就會愈來愈少,理論可以參考
相關文章
相關標籤/搜索