學習Hadoop第十六課(Combiner編程)

上一節課我們一起學習了Hadoop自定義排序功能,這節我們一起學習Combiner編程,每一個map可能會產生大量的輸出,Combiner的作用就是在map端對輸出先合併一次,以減少傳輸到Reducer的數據量。        combiner最基本是實現本地key的歸併,combiner具有類似本地reduce功能。        如果不用combiner,那麼所有的結果都是reduce完成,效
相關文章
相關標籤/搜索