Spark(二): 內存管理

     Spark 作爲一個以擅長內存計算爲優勢的計算引擎，內存管理方案是其非常重要的模塊； Spark的內存可以大體歸爲兩類：execution和storage，前者包括shuffles、joins、sorts和aggregations所需內存，後者包括cache和節點間數據傳輸所需內存；在Spark 1.5和之前版本里，兩者是靜態配置的，不支持借用，spark1.6 對內存管理模塊進行了優化

>>阅读原文<<