hadoop的自定義分組實現

   hadoop開發中我們會遇到類似這樣的問題,比如 如何將不同省份的手機號分別輸出到不同的文件中,本片文章將對hadoop內置的Partition類進行重寫以解決這個問題。   MapReduce的使用者通常會指定Reduce任務和Reduce任務輸出文件的數量(R)。用戶在中間key上使用分區函數來對數據進行分區,之後在輸入到後續任務執行進程。Hadoop中自帶了一個默認的分區類HashPa
相關文章
相關標籤/搜索