mapreduce當中的GroupingComparator分組詳解

GroupingComparator是mapreduce當中reduce端的一個功能組件,主要的作用是決定哪些數據作爲一組,調用一次reduce的邏輯,默認是每個不同的key,作爲多個不同的組,每個組調用一次reduce邏輯,我們可以自定義GroupingComparator實現不同的key作爲同一個組,調用一次reduce邏輯 1、分組排序步驟: (1)自定義類繼承WritableCompara
相關文章
相關標籤/搜索