spark任務提交流程與管依賴和窄依賴

spark內核執行流程圖 表明4個階段 1構建RDD,進行join,groupBy,filter操做,造成DAG有向無環圖(有方向,沒有閉環),在最後一個action時完成DAG圖,表明着數據流向 2提交DAG爲DAGScheduler,DAG調度器,主要是將DAG劃分紅一個個stage,而且提交stage 切分的依據是寬依賴,也就是有網絡的傳遞 3TaskScheduler,Task調度器,啓動

>>阅读原文<<