Spark 2.2 內存佔用計算公式

在Spark內存管理調優中，我們需要重點關注的有兩類內存：ExecutionMemory and storageMemory。ExecutionMemory用於spark計算中的shuffles、 joins、sorts 、 aggregations這些操作，storageMemory用於緩存數據和保存廣播變量數據 。 下面參數均已spark2.2爲準，不同版本會有些差異 一、Spark 內存管理

>>阅读原文<<