Spark任務執行流程

這是Spark官方給的圖，大體意思就是：web 四個步驟 1.構建DAG（有向無環圖）（調用RDD上的方法） 2.DAGScheduler將DAG切分Stage（切分的依據是Shuffle），將Stage中生成的Task以TaskSet的形式給TaskScheduler 3.TaskScheduler調度Task（根據資源狀況將Task調度到相應的Executor中） 4.Executor接收Ta

>>阅读原文<<