eclipse 本地鏈接hadoop 進行開發

們平時用的機器通常裝的都是windows系統,若是能在windows系統下面直接調試hadoop程序,那將是極好的linux

1. eclipse 安裝hadoop 插件

首先, 下載hadoop 的eclipse插件  一個jar包windows

下載連接是這裏:http://pan.baidu.com/s/1gfFbOFD服務器

下完以後將插件解壓 放到eclipse安裝目錄下的plugins下面 而後重啓eclipse 就會看到eclipse

這樣的圖標oop

打開eclipse preferences 會有 Hadoop Map/Reduce 這個選項測試

 

2. 添加dll 到windows

下載hadoopUtil 地址:http://pan.baidu.com/s/1gfFbOFDspa

讓後將utils中的dll文件放到 系統下面 windows文件夾下面的system32下插件

將文件夾中的winutils.exe 放到hadoop目錄的bin下面調試

3. 配置hadoop本地環境變量

本文的前提是你有一個能夠跑起來的hadoop環境,無論是虛擬機仍是在服務器上面。ip

咱們須要將linux上面hadoop目錄複製一份到windows上,而後再上面的preferences下的 Hadoop Map/Reduce中配置 Hadoop installation directory

選擇你本地hadoop的目錄

而後配置windows 環境變量 Hadoop_Home

在系統環境變量中添加HADOOP_HOME這個變量:

而後在path中添加 hadoop:

 

配置hdfs location :

右鍵edit 以下 這是個人環境:

若是eclipse能讀出 你hdfs上面的文件來,說明你的配置已經生效瞭如圖:

4. 測試 wordcount

最後在eclipse中 創建hadoop項目 new 選擇 Map/Reduce Project

你會驚奇的發現,eclipse已經將hadoop所須要的jar都導入到了eclipse當中。咱們測試直接將wordcount 這個實例程序copy到項目中 運行就能夠了

相關文章
相關標籤/搜索