Intellij idea開發Hadoop MapReduce程序

一、首先下載一個Hadoop包,僅Hadoop便可。java

http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gzapache

二、打開Idea新建一個java項目。app

三、項目配置 File ---- Project Structureoop

(1)首先注意SDK的配置spa

(2)加入Hadoop的jar包依賴blog

(3)打包配置hadoop

四、開發map-reduce代碼開發

根據本身需求寫代碼,下面附代碼樣本。get

(1)mapper代碼:編譯器

(2)reduce代碼片段:

(3)run/main代碼:

五、配置編譯器

右上角:

注意:第三個框裏只需添入輸入路徑和輸出路徑便可

六、將數據導入到你的程序中

注意:不要建立output目錄,系統會自動建立。不然會報目錄已存在的錯。

七、運行

(1)運行成功:

(2)查看結果

相關文章
相關標籤/搜索