[大數據]連載No13之Spark Executor的內存管理+sppark調優+數據本地化

本次總結圖如下 Executor內存管理兩種機制 1:靜態的內存管理分配圖 (執行 --executor-memory 3G時候),會把executor內容分三大部分 2:統一的內存管理分配圖 特點:Storage內存和shuffle內存可以互相借用,借用比例不能超過各自的50% (執行 --executor-memory 3G時候),會把executor內容分三大部分 Spark資源調優兩種情況
相關文章
相關標籤/搜索