MapReduce-Combiner規約-原理分析

規約Combiner  每一個 map 都可能會產生大量的本地輸出，Combiner 的作用就是對 map 端的輸出先做一次合併，以減少在 map 和 reduce 節點之間的數據傳輸量，以提高網絡IO 性能，是MapReduce 的一種優化手段之一 combiner 是 MR 程序中 Mapper 和 Reducer 之外的一種組件 combiner 組件的父類就是 Reducer combin

>>阅读原文<<