spark-shuffle的讀數據源碼分析

對指定分區進行計算的抽象接口,覺得CoGroupedRDD(或者ShuffleRDD,可能compute細節不一樣,可是shuffle讀取的類或方法的調用時同樣的)的compute方法爲實現,源碼:網絡 override def compute(s: Partition, context: TaskContext): Iterator[(K, Array[Iterable[_]])] = {val
相關文章
相關標籤/搜索