大數據學習筆記（六）

1.Combiner combiner階段是程序員可以選擇的，combiner其實也是一種reduce操作，因此我們看見WordCount類裏是用reduce進行加載的。 Combiner是mapreduce的一種優化手段，每一個map都可能會產生大量的本地輸出，Combiner的作用就是對map端的輸出先做一次合併，以減少在map和reduce節點之間的數據傳輸量，以提高網絡IO性能。 在實際的

>>阅读原文<<