Hadoop_配置Hadoop開發環境（Eclipse）

一般咱們能夠用Eclipse做爲Hadoop程序的開發平臺。

1）  下載Eclipse

下載地址：http://www.eclipse.org/downloads/

根據操做系統類型，選擇合適的版本下載並安裝。

2）  下載並編譯Hadoop的Eclipse插件

網上可直接下載到Hadoop 1.x 的Eclipse插件，可是該插件和Hadoop2.2 不兼容，因此沒法使用。

Hadoop 2.2 的Eclipse插件正處於開發過程當中，你能夠直接下載源代碼並編譯。本人在編譯過程當中碰到了一些ant的配置錯誤致使沒法正常編譯，修改ant配置即編譯成功，爲方便你們，我直接提供編譯後的.jar文件供你們下載：

代碼下載地址：https://github.com/winghc/hadoop2x-eclipse-plugin

編譯後的插件下載地址：http://download.csdn.net/detail/zythy/6735167

3）  配置Hadoop插件

將下載的hadoop-eclipse-plugin-2.2.0.jar文件放到Eclipse的dropins目錄下，重啓Eclipse便可看到該插件已生效。

經過Open Perspective菜單打開Map Reduce視圖，以下：

 

 

選中大象圖標，右鍵點擊Edit Hadoop Location編輯Hadoop配置信息：

本地新建New Hadoop location

系統項目中使用以下兩個配置：
[bigdatagfts@gft ~]$ cat ./hadoop/core-site.xml
<configuration>
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://10.116.37.181:9000</value>
</property>
<property>
  <name>hadoop.tmp.dir</name>
  <value>/home/bigdatagfts/hadoop/local/var/hadoop/tmp/hadoop-${user.name}</value>
</property>
</configuration>


[bigdatagfts@gft ~]$ cat /home/bigdatagfts/hadoop/etc/hadoop/yarn-site.xml
<property>
   <name>yarn.resourcemanager.address</name>
   <value>vm-45e5-3412:8032</value>
 </property>

 

填寫正確的Map/Reduce和HDFS信息。

 

 

4）  新建簡單Mapreduce項目

經過嚮導新建一個Map/Reduce項目。在此過程當中，請配置Hadoop的安裝路徑。

 

5）  經過Eclipse訪問DFS

打開Resource視圖，便可看到DFS：

 

 

此時，你可對DFS進行一些操做，好比上傳本地文件到HDFS等等，以下圖：

---