配置hadoop開發環境(eclipse,hadoop2.2.0)

一般咱們能夠用Eclipse做爲Hadoop程序的開發平臺。 git

1)  下載Eclipse github

下載地址:http://www.eclipse.org/downloads/ eclipse

根據操做系統類型,選擇合適的版本下載並安裝。 oop

2)  下載並編譯Hadoop的Eclipse插件 操作系統

網上可直接下載到Hadoop 1.x 的Eclipse插件,可是該插件和Hadoop2.2 不兼容,因此沒法使用。 .net

Hadoop 2.2 的Eclipse插件正處於開發過程當中,你能夠直接下載源代碼並編譯。本人在編譯過程當中碰到了一些ant的配置錯誤致使沒法正常編譯,修改ant配置即編譯成功,爲方便你們,我直接提供編譯後的.jar文件供你們下載: 插件

代碼下載地址:https://github.com/winghc/hadoop2x-eclipse-plugin ip

編譯後的插件下載地址:http://download.csdn.net/detail/zythy/6735167 hadoop

3)  配置Hadoop插件 開發

將下載的hadoop-eclipse-plugin-2.2.0.jar文件放到Eclipse的dropins目錄下,重啓Eclipse便可看到該插件已生效。

經過Open Perspective菜單打開Map Reduce視圖,以下:

選中大象圖標,右鍵點擊Edit Hadoop Location編輯Hadoop配置信息:

填寫正確的Map/Reduce和HDFS信息。(具體根據您的配置而定)

 

4)  新建簡單Mapreduce項目

經過嚮導新建一個Map/Reduce項目。在此過程當中,請配置Hadoop的安裝路徑。

5)  經過Eclipse訪問DFS

打開Resource視圖,便可看到DFS:

此時,你可對DFS進行一些操做,好比上傳本地文件到HDFS等等,以下圖:

 

至此,Hadoop的開發環境大體配置完成,下一節咱們將看到如何寫一個簡單的MapReduce程序並放到Hadoop集羣上運行。

相關文章
相關標籤/搜索