spark源碼系列(4) spark stage劃分

我們進入RDD.scala，隨便找一個action，就拿count開刀吧 def count(): Long = sc.runJob(this, Utils.getIteratorSize _).sum 這裏會調用sparkContext#runJob方法。一直追蹤這個方法 最終會發現調用的是 dagScheduler.runJob(rdd, cleanedFunc, partitions, c

>>阅读原文<<