hadoop中的Partitioner分區

 hadoop的map/reduce中支持對key進行分區,從而讓map出來的數據均勻分佈在reduce上,固然,有時候因爲機器間配置問題,可能不須要數據均勻,這時候也能派上用場。 框架自帶了一個默認的分區類,HashPartitioner,先看看這個類,就知道怎麼自定義key分區了。 public class HashPartitioner<K, V> extends Partitioner<K
相關文章
相關標籤/搜索