MapReduce常用三大組件

1、MapReduce中的Combiner 1.1、什麼是Combiner Combiner是MapReduce程序中Mapper和Reducer之外的一種組件,他的作用在MapTask之後給MapTask的結果進行局部彙總,以減輕reducetask的計算負載,減少網絡傳輸。 1.2、如何使用Combiner 編寫一個類,然後繼承Reducer,reduce方法中寫具體的Combiner邏輯,然
相關文章
相關標籤/搜索