spark 作業執行原理源碼閱讀(三)

概述 作業(Job) 調度階段(stage) 任務(Task) DAGScheduler:面向調度階段的任務調節器,負責接收spark應用提交的作業,根據RDD的依賴關係(根據寬依賴劃分)劃分調度階段,並提交stage給TaskScheduler。 TaskScheduler:面向任務的調度器,接收DAGScheduler提交過來的stage,然後以stage劃分後的結果,將Task分發到Work
相關文章
相關標籤/搜索