MapReduce的combiner

每一個 map 都可能會產生大量的本地輸出，Combiner 的作用就是對 map 端的輸出先做一次合併，以減少在 map 和 reduce 節點之間的數據傳輸量，以提高網絡IO 性能，是 MapReduce 的一種優化手段之一。 combiner 是 MR 程序中 Mapper 和 Reducer 之外的一種組件 combiner 組件的父類就是 Reducer combiner 和 reduc

>>阅读原文<<