Spark中groupByKey和reduceByKey的區別

重點比較reduceByKey和groupByKey: 相同點： 1,都做用於 RDD[K,V] 2，都是根據key來分組聚合 3， 默認，分區的數量都是不變的，可是均可以經過參數來指定分區數量web 不一樣點： 1， groupByKey默認沒有聚合函數，獲得的返回值類型是RDD[ k,Iterable[V]] 2， reduceByKey 必須傳聚合函數 獲得的返回值類型 RDD[(K,聚合後

>>阅读原文<<