一篇文章搞清spark內存管理

文章目錄 1.堆內存和堆外內存 1.1 堆內存 1.2 堆外內存 2. 內存空間分配 2.1 早期的靜態內存管理 2.2 統一內存管理機制 3. 存儲內存(Storage)緩存RDD怎麼存儲 4. 執行內存(Execution)怎麼管理 ​ 在執行Spark的應用程序時,Spark集羣會啓動Driver和Executor兩種JVM進程,前者爲主控進程,後者負責執行具體的計算任務。因爲Driver的
相關文章
相關標籤/搜索