Spark的調度流程—詳細、易懂、面試

先看一下Spark調度過程的流程圖。這張圖很不錯： 具體流程如下： 1）DriverProgram即用戶提交的程序定義並創建了SparkContext的實例，SparkContext會根據RDD對象構建DAG圖，然後將作業(job)提交(runJob)給DAGScheduler。 2）DAGScheduler對作業的DAG圖進行切分成不同的stage[stage是根據shuffle爲單位進行劃分]

>>阅读原文<<