Windows下Hadoop Eclipse 開發平臺搭建

準備工做

java JDK

Cywin

eclipse

hadoop-0.20.2-eclipse-plugin.jar（Hadoop自帶eclipse插件，在hadoop\contrib\eclipse-plugin中）

安裝和配置

1、JDK安裝和配置

　　省略

2、Cywin安裝和配置

　　能夠按照默認的提示安裝到本身須要存放的位置，可是在安裝時須要注意下面幾點：　　

 　　一、　http://mirrors.sohu.com

　　  　　

　　二、安裝過程當中記得選擇所需的包，具體請參考下面的圖示：

• Net    下的：openssh,openssl

• Base  下的：sed （若須要Eclipse，必須sed）

• Devel 下的：subversion（建議安裝）

                

　　不一樣的版本可能有所不一樣，可是基本操做沒有變化。。。。

　　在個人電腦->屬性->高級->環境變量中配置加入變量CYGWIN=ntsec

　　在path環境變量中加入cygwin/bin路徑, 例如: ;d:/cygwin64/bin

　　給文件受權,以完成sshd 服務的安裝

　　chmod +r /etc/group 

　　chmod +r /etc/passwd

　  chmod +rwx /var

　　安裝ssh服務

　　以管理員權限運行Cygwin，並輸入 ssh-host-config

    當詢問if privilege separation should be used 時輸入 no .     

 　 當詢問if sshd should be installed as a service 時輸入yes .     

　　當詢問about the value of CYGWIN environment variable enter 時輸入 ntsec .

    其他詢問均輸入 no

　　cygrunsrv.exe -S sshd # 啓動 SSH服務

　　控制面板-》系統和安全-》管理工具-》服務 啓動名爲 CYGWIN sshd 的服務，亦可在cygwin中輸入 cygrunsrv --start sshd 啓動sshd（輸入cygrunsrv --stop sshd中止sshd）
3、hadoop安裝和配置

　　這裏只須要保證hadoop配置，與服務器配置一致便可。

4、eclipse安裝和配置

　　將eclipse安裝包解壓到任意路徑下

　　將hadoop-0.20.2-eclipse-plugin.jar放置eclipse安裝目錄eclipse\plugins下，啓動eclipse進行以下配置：

　　window->Preference->Hadoop Map/Reduce，輸入hadoop文件夾位置。

　　

　　window->Show View，選擇Map/Reduce Locations。

　　　

　　點擊屏幕右下方新建一個Location.

　　

　　編輯Location.(注意MAP/REDUCE和DFS的Port分別對應mapred-site.xml和core-site.xml)

　　

　　這時，打開Project Explore，刷新。

　　　 

　　接下來，你能夠new一個MapReduce程序了，找到hadoop的例子試試去吧。

　　對了，編譯這裏要配置一下。

　　選擇Run Configurations->Java Application->Arguments，這裏要填入爲兩個文件，分別爲輸入文件和輸出文件。

　　　　

　　　　注意：輸入輸出文件地址，若是用主機名，則須要設置一下本地的hosts