Hadoop實戰之課後題--分析web服務器的日誌文件

全部代碼:github-wtttttjava 任務 統計每一個IP地址的訪問次數 查找訪問數最多的前K個IP地址 分析: 任務1很簡單,簡單的求和問題,用來從新熟悉hadoop MR程序的寫法。 優化:使用combiner()減小網絡中的流量傳輸; 這個例子中combiner和reducer的邏輯相同,兩種使用同一個reduce便可。 代碼貼在附錄裏了,註釋詳細,可查看~ 任務2是一個TopK的問
相關文章
相關標籤/搜索