Combiners和Partitioner編程

Combiners的作用：      每一個map可能會產生大量的輸出，combiner的作用就是在map端對輸出先做一次合併，以減少傳輸到reducer的數據量，    1）combiner最基本是實現本地key的聚合，對map輸出的key排序，value進行迭代。如下所示：map: (K1, V1) → list(K2, V2) combine: (K2, list(V2)) → list(K

>>阅读原文<<