Spark調度系統——面向DAG的調度器DAGScheduler

DAGScheduler實現了面向DAG的高層次調度，即將DAG中的各個RDD劃分到不一樣的Stage。DAGScheduler能夠經過計算將DAG中的一系統RDD劃分到不一樣的Stage，而後構建這些Stage之間的父子關係，最後將每一個Stage按照Partition切分爲多個Task，並以Task集合（即TaskSet）的形式提交給底層的TaskScheduler。apache 全部的組件都

>>阅读原文<<