資源調度機制源碼分析(schedule方法,兩種調度算法)

sparkContext初始化後會註冊Application,而後會調用schedule方法,如何爲Application在worker上啓動Executor,Executor啓動後,DAGScheduler和TaskScheduler才能分配task給Executor來進行計算。因此schedule是把整個流程竄起來的重點。算法 private def schedule(): Unit = {
相關文章
相關標籤/搜索