Spark算子執行流程詳解之三

10.aggregate 用與聚合RDD中的元素,先使用seqOp將RDD中每一個分區中的T類型元素聚合成U類型,再使用combOp將以前每一個分區聚合後的U類型聚合成U類型,特別注意seqOp和combOp都會使用zeroValue的值,zeroValue的類型爲U,apache def aggregate[U: ClassTag](zeroValue:U)(seqOp: (U,T) => U,
相關文章
相關標籤/搜索