pyspark 對RDD的相關api

1、aggregate，可以用來求平均值 如下示例 rdd2 = spark.sparkContext.parallelize([1,2,3,4,5,6,7,8,9,10]) seqop = (lambda x,y: (x[0]+ y, x[1]+ 1)) #0+1 0+1 1+2 1+1 3+3 2+1 cpmop= (lambda x,y: (x[0]+ y[0], x[1]

>>阅读原文<<