spark筆記之Spark任務調度

任務調度流程圖 各個RDD之間存在着依賴關係，這些依賴關係就形成有向無環圖DAG，DAGScheduler對這些依賴關係形成的DAG進行Stage劃分，劃分的規則很簡單，從後往前回溯，遇到窄依賴加入本stage，遇見寬依賴進行Stage切分。完成了Stage的劃分。DAGScheduler基於每個Stage生成TaskSet,並將TaskSet提交給TaskScheduler。TaskSchedu

>>阅读原文<<