Hadoop Eclipse 開發環境的構建

1.安裝eclipse

  下載的eclipse包直接解壓便可。

2.hadoop-eclipse插件的配置

  本文使用的Hadoop爲1.2.1版本，網上不少教程說該插件在hadoop-1.2.1/contrib/目錄下，可是我發現該目錄下並無該插件，以下：

  

  查了一下，發現該插件須要本身編譯，而該插件的源碼在/hadoop-1.2.1/src/contrib/eclipse-plugin/目錄下，本文並無編譯，直接在網上下載了一個他人編譯好的，具體的編譯方法請參考博文 http://www.cnblogs.com/alex-blog/p/3160619.html。

獲得hadoop-eclipse-plugin-1.2.1.jar插件後，咱們只需將其移動eclipse安裝目錄下的plugins目錄下便可。

3.eclipse上配置Hadoop環境。

 ① 打開eclipse,選擇window->Preferences菜單，選擇左側的Hadoop Map/Reduce,按下圖配置hadoop的安裝位置。

    

 ② 選擇eclipse中的window->Show View->Other,選擇MapReduce Tools下的Map/Reduce Locations,以下圖

    

 ③ 上步操做完成後，會出現以下窗口。

    

    將鼠標放在淺紅色區域，右鍵選擇New Hadoop Location

 ④ 配置Hadoop Location

   

   其中的Location name隨便寫，Map/Reduce Master配置與 hadoop-1.2.1/conf/mapred-site.xml 中的同樣，DFS Master的配置與 hadoop-1.2.1/conf/core-site.xml 同樣。

至此，配置工做完成。

5.測試是否配置成功

  咱們新建一個project,而後選擇Map/Reduce Project,再點擊完成時，因爲咱們是第一次建Map/Reduce工程，會出現以下的窗口，咱們選擇Yes便可。

  

  而後，在工程視圖窗口，咱們看到DFS的文件結構，就說明咱們的配置成功了。

  

在windows下編寫hadoop程序時，須要將Linux下的hadoop拷貝到window下，注意配置文件到要徹底同樣。

錯誤處理：

修改Linux服務器上的hadoop下的hdfs-core.xml文件，將dfs.permissions屬性設置爲false便可。並重啓一下Hadoop。

來自爲知筆記(Wiz)

附件列表

• 2015-01-25_225521.png