Spark操做—aggregate、aggregateByKey詳解

1. aggregate函數apache        將每一個分區裏面的元素進行聚合,而後用combine函數將每一個分區的結果和初始值(zeroValue)進行combine操做。這個函數最終返回的類型不須要和RDD中元素類型一致。分佈式         seqOp操做會聚合各分區中的元素,而後combOp操做把全部分區的聚合結果再次聚合,兩個操做的初始值都是zeroValue.   seqO
相關文章
相關標籤/搜索