MR -- MapReduce開發總結

編寫 MR 程序,注意以下幾點: 1、輸入數據接口:InputFormat 2、邏輯處理接口:Mapper 根據需求,實現其中的三個方法:map()、setup()、cleanup()。 3、Partition 分區 4、Comparable 排序 5、Combiner 合併 Combiner合併可以提高程序的執行效率,減少 IO 傳輸。但是使用時,不能影響業務邏輯。 6、Reduce 端分組:G
相關文章
相關標籤/搜索