hadoop學習筆記(四)MapReduce常見實例一:去重、求平均值

去重  問題:有一個名爲buyer_favorite1的數據文件,記錄了用戶收藏的商品以及收藏的日期 文件中包含(用戶id,商品id,收藏日期)三個字段,數據內容以「\t」分割 要求根據商品id進行去重,統計用戶收藏商品中都有哪些商品被收藏,輸出去重後所有的商品id和收藏了該商品的用戶id 。 數據內容如下: 用戶id 商品id 收藏日期 10181 1000481 2010-0
相關文章
相關標籤/搜索