spark總體執行過程詳解

spark總體執行過程可分爲四個步驟：web 1.構建DAG（調用RDD上的方法） 2.DAGScheduler將DAG切分Stage（切分的依據是shuffle），將Stage中生成的Task以TaskSet的形式給TaskScheduler 3.TaskScheduler調度Task（根據資源狀況將Task調度到相應的Executor中） 4.Executor接收Task，而後將Task丟入到

>>阅读原文<<