eclipse 遠程 hadoop

使用版本爲2.7.2

相關插件等連接 密碼: cmfz

環境變量

HADOOP_HOME=C:\Psoft\hadoop-2.7.2 HADOOP_BIN_PATH=%HADOOP_HOME%\bin HADOOP_PREFIX=C:\Psoft\hadoop-2.7.2

相關軟件下載

1. 下載hadoop-eclipse-plugin插件並安裝

2. 下載windows64位平臺的hadoop2.7(x64)V0.2插件包(hadoop.dll,winutils.exe)

hadoop.dll、winutils.exe 這二個最有用，將winutils.exe複製到$HADOOP_HOME\bin目錄，將hadoop.dll複製到%windir%\system32目錄 (主要是防止插件報各類莫名錯誤，好比空對象引用啥的)

3. eclipse 添加配置hadoop-eclipse-plugin插件

參數： Location name 這裏就是起個名字，隨便起 Map/Reduce(V2) Master Host 這裏就是虛擬機裏hadoop master對應的IP地址，下面的端口對應 hdfs-site.xml裏dfs.datanode.ipc.address屬性所指定的端口 DFS Master Port： 這裏的端口，對應core-site.xml裏fs.defaultFS所指定的端口 最後的user name要跟虛擬機裏運行hadoop的用戶名一致，我是用hadoop身份安裝運行hadoop 2.7.2的，因此這裏填寫hadoop，若是你是用root安裝的，相應的改爲root

遇到問題

1. 鏈接報空指針 An internal error occurred during: "Map/Reducelocation status updater".java.lang.NullPointerException

解決：

在hdfs上建個文件夾 。

 #hdfs dfs -mkdir -p /user/app/input
 #hdfs dfs -mkdir -p /user/app/output

參考:http://www.cnblogs.com/yjmyzz/p/how-to-remote-debug-hadoop-with-eclipse-and-intellij-idea.html
參考:http://www.bkjia.com/ASPjc/931209.html