Spark-Stage任務劃分

Spark-Stage任務劃分 0.先回憶一下YarnClient運行模式 需要記住的是下面兩個：（他們都是發生在Driver端） ​ 切分任務使用的是DAGScheduler，類似於Hadoop的切片。 ​ 分配任務使用TaskScheduler，管理由多少任務，具體執行。 1.任務運行的整體流程 RDD Objects：是寫的代碼。 DAGScheduler:根據shuffle的個數，劃分任務

>>阅读原文<<