eclipse+MapReduce

1、部署準備

操做系統：Centos7.2

Hadoop版本：Apache Hadoop 2.6.4

Java版本：1.7.0_79

Eclipse版本：Mars

 

2、Eclipse開發環境設置

第一步、下載插件部署

hadoop2x-eclipse-plugin的github地址：
https://github.com/winghc/hadoop2x-eclipse-plugin

將hadoop-eclipse-plugin-2.6.0.jar置入$ECLIPSE_HOME/plugins/中，而後重啓eclipse。

第二步、配置環境變量HADOOP_HOME

進入eclipse的windows菜單-->Hadoop Map/Reduce設置HADOOP_HOME

第三部、切換工做目錄 

切換工做目錄到Map/Reduce。

第四部、建立Location

在下方的的Map/Reduce Locations能夠建立和修改HDFS Location的配置。

Location name：定義這個Location的名字，隨意取個。

Map/Reduce(V2) Master：

Host：Yarn的Resourcemanager IP Address(參數yarn.resourcemanager.hostname值)

Port：Yarn的Resourcemanager 端口(參數yarn.resourcemanager.address值的端口)

DFS Master：

Host：HDFS的namenode IP Address(參數dfs.namenode.rpc-bind-host值)

Port：HDFS的namenode 端口(參數dfs.namenode.rpc-address值的端口)

 

左邊Project Explorer顯示DFS Locations-->breath.

能夠直接次目錄樹進行操做，如：建立目錄、刪除目錄、上傳文件、下載文件、查看文件、刷新。

第五部、建立MapReduce工程

File --> New --> Other --> Map/Reduce Project

建立的MapReduce工程已經自帶執行mapreduce所需的依賴。不需本身添加其餘依賴。