Spark內存管理及源碼閱讀

本文主要是參考學習了網上作者盧龍的一篇文章以及自己對源碼的解讀兩部分組成。參考原文地址Apache Spark內存管理詳解。感謝原作者~ spark的內存 按照存儲位置主要分爲兩大塊 jvm堆內 主要分爲三部分 storage 用於rdd的緩存和存儲 默認佔60%？，可以佔用execution的空間，但是當execution空間不足的時候需要釋放 execution 用於reduce的shuffl

>>阅读原文<<