必讀|spark的重分區及排序

前幾天，有人在星球裏，問了一個有趣的算子，也便是RepartitionAndSortWithinPartitions。當時浪尖也在星球裏講了一下，整個關於分區排序的內容。今天，在這裏給你們分享一下。apache 昨天說了，mapPartitions 的使用技巧。你們應該都知道mapPartitions值針對整個分區執行map操做。並且對於PairRDD的分區默認是基於hdfs的物理塊，固然不可分割

>>阅读原文<<