MapReduce的分區-Partitioner

分區操作時shuffle操作中的一個重要過程,作用就是講map的結果按照規則分發到不同的reduce中進行處理,從而按照分區得到多個輸出結果。 Partutuiber是partitioner的基類,如果需要盯着partitioner也需要繼承該類,HashPartitioner是mapredce的默認partitioner。計算方法是 which reducer=(key.hashCode() &
相關文章
相關標籤/搜索