spark1.6和spark2.0內存管理的對比

spark從1.6.4版本之後就直接到了2.0版本 下面簡單說一下2.0內存管理的變化 在2.0之前,spark內存管理都是用靜態管理的方式,主要是分成了三大塊,比例爲6(存儲):2(執行):2(其他),如下圖:       spark2.0內存的管理髮生了變化,開始使用統一內存管理,主要結構如下   storage和execution的動態佔用機制 
相關文章
相關標籤/搜索