Spark自定義分區(Partitioner)

轉自:http://www.iteblog.com/archives/1368java 咱們都知道Spark內部提供了HashPartitioner和RangePartitioner兩種分區策略,這兩種分區策略在不少狀況下都適合咱們的場景。可是有些狀況下,Spark內部不能符合我們的需求,這時候咱們就能夠自定義分區策略。爲此,Spark提供了相應的接口,咱們只須要擴展Partitioner抽象類,
相關文章
相關標籤/搜索