Executor動態分配實現原理

文章目錄 簡介 ExecutorAllocationManager創建和啓動 相關配置參數 簡介 ExecutorAllocationManager在SparkContext中創建,基於工作負載通過後臺定時線程來動態分配、移除Executor資源及取消多餘的executor申請。ExecutorAllocationManager保存一個動態目標數量的executor信息,並定時週期同步給clust
相關文章
相關標籤/搜索