Spark-combineByKey

1.前言 combineByKey是使用Spark無法避免的一個方法，總會在有意或無意，直接或間接的調用到它。從它的字面上就可以知道，它有聚合的作用，對於這點不想做過多的解釋，原因很簡單，因爲reduceByKey、aggregateByKey、foldByKey等函數都是使用它來實現的。 combineByKey是一個高度抽象的聚合函數，可以用於數據的聚合和分組，由它牽出的shuffle也是Sp

>>阅读原文<<