spark 作業調度

spark的任務調度系統如下所示：   從上圖中可以看出來由RDD Objects產生DAG，然後進入了DAGScheduler階段，DAGScheduler是面向state的高層次的調度器，DAGScheduler把DAG拆分成很多的tasks，每組的tasks都是一個state，每當遇到shuffle就會產生新的state，可以看出上圖一共有三個state；DAGScheduler需要記錄那些

>>阅读原文<<