Spark2.X的內存管理模型

Spark2.X的內存管理模型以下圖所示：緩存 Spark中的內存使用大體包括兩種類型：執行和存儲。執行內存是指用於用於shuffle、join、排序、聚合等計算的內存，而存儲內存是指用於在集羣中持久化和廣播內部數據的內存。在Spark中，執行內存和存儲內存共享一個統一的區域。當沒有使用執行內存時，存儲內存能夠獲取全部可用內存，反之亦然。若有必要，執行內存能夠佔用存儲存儲，但僅限於總存儲內存使用量

>>阅读原文<<