在前面的文中咱們分別搭建了單機和集羣的Hadoop環境,今天咱們將實踐使用Eclispe開發工具安裝linux
hadoop的開發插件,而且使用hadoop插件鏈接Hadoop遠程集羣,文中有什麼不對的地方,請你們指出來git
共同窗習。github
1.Eclipse Java EE IDE for Web Developers- Oxygen.2 Release (4.7.2)web
2.Eclipse的Hadoop插件hadoop-eclipse-plugin-2.6.0.jareclipse
3.Hadoop集羣環境工具
4.deepin15.5穩定版linux系統oop
注:以上都是本次實踐的版本,你們能夠選擇適合本身的版本學習
1.下載Eclipse的Hadoop插件hadoop-eclipse-plugin-2.6.0.jar,下載地址:開發工具
https://github.com/winghc/hadoop2x-eclipse-pluginspa
2.將插件複製到eclipse安裝目錄下的plugins目錄
3.啓動或者重啓Eclispe開發工具
4.打開eclipse的show View窗口,看到了咱們安裝的Hadoop的插件
5.點擊Map/Reduce Locations打開視圖
出現的是hadoop的Map/Reduce開發相關的視圖,在視圖區域右上方有藍色小象的添加按鈕,此時插件工做配置完成
1.SSH鏈接Hadoop集羣的master節點機器,啓動hadoop集羣
2.驗證集羣是否正常啓動
在master節點執行hadoop dfsadmin -report驗證
打開yarn的web查看
hadoop集羣搭建可參考《hadoop(04)、Hadoop 集羣模式搭建實踐 》
1. 打開eclispe到Map/Reduce Locations視圖窗口
2.點擊藍色小大象按鈕
3.配置Map/Reduce Locations信息
注意填寫參數:
Lacation Name:爲該位置命名
MapReduce Master:與$HADOOP_DIRCONF/mapred-site.xml配置保持一致;
HDFS Master:與$HADOOP_DIRCONF/core-site.xml配置保持一致
User Name:登陸hadoop用戶名,能夠填寫其餘的
4.點擊完成便可
5.驗證配置,點擊DFS Locations
本文主要實踐了eclispe安裝hadoop的插件,和在eclispe下使用hadoop插件鏈接遠程hadoop集羣的操做,後面咱們將使用改開發環境開發hadoop的做業任務。