spark中資源調度任務調度

在spark的資源調度中 1、集羣啓動worker向master彙報資源情況 2、Client向集羣提交app,向master註冊一個driver(需要多少core、memery),啓動一個driver 3、Driver將當前app註冊給master,(當前app需要多少資源),並請求啓動對應的Executor 4、driver分發任務給Executor的Thread Pool。 根據Spark源
相關文章
相關標籤/搜索