Spark RDD的Action執行過程——Task剖析

Pool會依次執行TaskRunner 下面就分析TaskRunner中的run方法 這裏調用了task的run方法 這裏調用了runTask方法,這個方法是一個抽象方法,有兩種實現,一個是ShuffleMapTask的實現,另一個是ResultTask的實現 首先看一下比較複雜的ShuffleMapTask 這裏的注意點在於writer.write方法中的rdd.iterator()方法 分析c

>>阅读原文<<