spark自定義分區的實現

spark默認是提供了兩種分區器,HashPartitioner和RangePartitioner,但是有的時候不能滿足我們實際的需求,這個時候我們可以自定義一個分區器,也非常的簡單.看下面一個demo,把key是偶數的放到一個分區,key是奇數的放到另一個分區. package spark import org.apache.spark.{Partitioner, SparkConf, Spa

>>阅读原文<<