spark2.11 資源調度流程(cluster模式下Driver、Executor的調度)

Spark只有在cluster模式下啓動時,纔會有Driver的資源調度,如果在client模式下啓動,Driver就在提交Job的機器上啓動。 資源調度指的是應用程序獲得的計算資源,任務調度是在資源調度的基礎上進行的。 Master是負責資源調度和管理的,每次有新的應用程序或者集羣資源發生變化的時候都會重新資源調度(也就是schedule()方法的執行); 發生資源變化的動作有:Register
相關文章
相關標籤/搜索