spark中repartition和partitionBy的區別

今天來介紹一下spark中兩個經常使用的重分區算子,repartition 和 partitionBy 都是對數據進行從新分區，默認都是使用 HashPartitioner，區別在於partitionBy 只能用於 PairRdd，可是當它們同時都用於 PairRdd時,效果也是不同的,下面來看一個demo.javascript package test import org.apache.lo

>>阅读原文<<