spark內存管理源碼分析系列之內存管理概述

Spark 作爲一個基於內存的分佈式計算引擎,其內存管理模塊在整個系統中扮演着非常重要的角色。理解 Spark 內存管理的基本原理,有助於更好地開發 Spark 應用程序和進行性能調優。本文介紹了Spark的內存框架以及介紹了Spark的哪些模塊使用到了內存管理功能,Driver端內存管理比較簡單,所以後續的分析都專注於Executor端的內存管理。 內存整體框架 作爲一個 JVM 進程,Exec
相關文章
相關標籤/搜索