MapReduce中的分區Partitioner,如何將擁有同一屬性的數據放入同一個分區

轉載地址:MapReduce中的分區方法Partitioner 在進行MapReduce計算時,有時候需要把最終的輸出數據分到不同的文件中,比如按照省份劃分的話,需要把同一省份的數據放到一個文件中;按照性別劃分的話,需要把同一性別的數據放到一個文件中。我們知道最終的輸出數據是來自於Reducer任務。那麼,如果要得到多個文件,意味着有同樣數量的Reducer任務在運行。Reducer任務的數據來自
相關文章
相關標籤/搜索