Hadoop中Combiner的使用

轉自:http://blog.csdn.net/ipolaris/article/details/8723782java 在MapReduce中,當map生成的數據過大時,帶寬就成了瓶頸,怎樣精簡壓縮傳給Reduce的數據,有不影響最終的結果呢。有一種方法就是使用Combiner,Combiner號稱本地的Reduce,Reduce最終的輸入,是Combiner的輸出。下面以《Hadoop in
相關文章
相關標籤/搜索