Linux下使用Eclipse開發Hadoop應用程序 測試成功

參考：http://blog.sina.com.cn/s/blog_62186b4601012acs.html

HDFS 測試文件：

測試結果：

 

 

詳細配置參考它的原文：

Hadoop版本：hadoop-0.20.2
Eclipse版本：eclipse-java-helios-SR2-linux-gtk.tar.gz

========================安裝eclipse=======================

一、首先下載eclipse，我下載的是：eclipse-java-helios-SR2-linux-gtk.tar.gz

二、安裝eclipse
(1)把eclipse-java-helios-SR2-linux-gtk.tar.gz解壓到某個目錄中，我解壓到的是/home/wangxing/Development，獲得eclipse目錄

(2)在/usr/bin目錄下建立一個啓動腳本eclipse，執行下面的命令來建立：
sudo gedit /usr/bin/eclipse

而後在該文件中添加如下內容：
#!/bin/sh
export MOZILLA_FIVE_HOME="/usr/lib/mozilla/"
export ECLIPSE_HOME="/home/wangxing/Development/eclipse"
$ECLIPSE_HOME/eclipse $*

(3)修改該腳本的權限，讓它變成可執行，執行下面的命令：
sudo chmod +x /usr/bin/eclipse

三、在Applications(應用程序)菜單上添加一個圖標
sudo gedit /usr/share/applications/eclipse.desktop

而後在文件中添加下列內容：
[Desktop Entry]
Encoding=UTF-8
Name=Eclipse Platform
Comment=Eclipse IDE
Exec=eclipse
Icon=/home/wangxing/Development/eclipse/icon.xpm
Terminal=false
StartupNotify=true
Type=Application
Categories=Application;Development;

========================安裝hadoop============================

關於hadoop在Linux下僞分佈式的安裝詳見：http://blog.sina.com.cn/s/blog_62186b4601011c6a.html

========================在eclipse配置hadoop====================
1.在eclipse上安裝hadoop插件
複製 hadoop安裝目錄/contrib/eclipse-plugin/hadoop-0.20.203.0-eclipse-plugin.jar 到eclipse安裝目錄/plugins/ 下

2.重啓eclipse，配置hadoop installation directory。
若是安裝插件成功，打開Window-->Preferens，你會發現Hadoop Map/Reduce選項，在這個選項裏你須要配置Hadoop installation directory。配置完成後退出。

3.配置Map/Reduce Locations
在Window-->Show View中打開Map/Reduce Locations,在Map/Reduce Locations中新建一個Hadoop Location。在這個View中，右鍵-->New Hadoop Location。在彈出的對話框中你須要配置Location name，如Hadoop，還有Map/Reduce Master和DFS Master。這裏面的Host、Port分別爲你在mapred-site.xml、core-site.xml中配置的地址及端口。如：

本人hadoop的配置詳見：http://www.oschina.net/code/snippet_176897_7976

4.新建項目。
File-->New-->Other-->Map/Reduce Project,項目名能夠隨便取，如WordCount。
複製 hadoop安裝目錄/src/example/org/apache/hadoop/examples/WordCount.java到剛纔新建的項目WordCount下,刪除WordCount.java首行package

5.在本地新建word.txt，內容爲：
java c++ python cjava c++ javascript helloworld hadoopmapreduce java hadoop hbase

6.經過hadoop的命令在HDFS上建立/tmp/workcount目錄，命令以下：
bin/hadoop fs -mkdir /tmp/wordcount
經過copyFromLocal命令把本地的word.txt複製到HDFS上，命令以下：
bin/hadoop fs -copyFromLocal /home/wangxing/Development/eclipseWorkspace/word.txt  /tmp/wordcount/word.txt

7.運行項目
(1).在新建的項目Hadoop，點擊WordCount.java，右鍵-->Run As-->Run Configurations
(2).在彈出的Run Configurations對話框中，點Java Application，右鍵-->New，這時會新建一個application名爲WordCount
(3).配置運行參數，點Arguments，在Program arguments中輸入你要傳給程序的輸入文件夾和你要求程序將計算結果保存的文件夾，如：
hdfs://localhost:9000/tmp/wordcount/word.txt  hdfs://localhost:9000/tmp/wordcount/out
(4)點擊Run，運行程序
過段時間將運行完成，等運行結束後，查看例子的輸出結果，使用命令：
bin/hadoop fs -ls /tmp/wordcount/out
發現有兩個文件夾和一個文件，使用命令查看part-r-00000裏的運行結果:
bin/hadoop fs -cat /tmp/wordcount/out/part-r-00000