Spark DAGScheduler 功能及源碼解析

Spark中DAGScheduler的主要做用是將Job按照RDD的依賴關係劃分紅若干個TaskSet，也稱爲Stage；以後結合當前緩存狀況及數據就近的原則，將Stage提交給TaskSchedulerjava private[spark] class DAGScheduler( private[scheduler] val sc: SparkContext, private[scheduler

>>阅读原文<<