Spark中幾種重要的結構類型

Stage： private[spark] abstract class Stage( val id: Int, //Stage的序號數值越大，優先級越高 val rdd: RDD[_], //歸屬於本Stage的最後一個rdd val numTasks: Int, //等於父RDD的輸出Partition數目，該初始值來自 DAGScheduler.ne

>>阅读原文<<