Spark(14) -- Spark的任務調度

1. 任務調度流程圖  各個RDD之間存在着依賴關係,這些依賴關係就形成有向無環圖DAG,DAGScheduler對這些依賴 關係形成的DAG進行Stage劃分,劃分的規則很簡單,從後往前回溯,遇到窄依賴加入本stage,遇 見寬依賴進行Stage切分。完成了Stage的劃分。DAGScheduler基於每個Stage生成TaskSet,並將 TaskSet提交給TaskScheduler。Tas
相關文章
相關標籤/搜索