hadoop(05)、使用Eclipse鏈接遠程Hadoop集羣

         在前面的文中咱們分別搭建了單機和集羣的Hadoop環境,今天咱們將實踐使用Eclispe開發工具安裝linux

hadoop的開發插件,而且使用hadoop插件鏈接Hadoop遠程集羣,文中有什麼不對的地方,請你們指出來git

共同窗習。github

1、環境準備

1.Eclipse Java EE IDE for Web Developers- Oxygen.2 Release (4.7.2)web

2.Eclipse的Hadoop插件hadoop-eclipse-plugin-2.6.0.jareclipse

3.Hadoop集羣環境工具

4.deepin15.5穩定版linux系統oop

注:以上都是本次實踐的版本,你們能夠選擇適合本身的版本學習

2、安裝Eclispe的Hadoop開發插件

1.下載Eclipse的Hadoop插件hadoop-eclipse-plugin-2.6.0.jar,下載地址:開發工具

https://github.com/winghc/hadoop2x-eclipse-pluginspa

2.將插件複製到eclipse安裝目錄下的plugins目錄

3.啓動或者重啓Eclispe開發工具

4.打開eclipse的show View窗口,看到了咱們安裝的Hadoop的插件

5.點擊Map/Reduce Locations打開視圖

出現的是hadoop的Map/Reduce開發相關的視圖,在視圖區域右上方有藍色小象的添加按鈕,此時插件工做配置完成

3、啓動Hadoop集羣環境

1.SSH鏈接Hadoop集羣的master節點機器,啓動hadoop集羣

2.驗證集羣是否正常啓動

在master節點執行hadoop dfsadmin -report驗證

打開yarn的web查看

hadoop集羣搭建可參考《hadoop(04)、Hadoop 集羣模式搭建實踐

4、建立配置Map/Reduce Locations

1. 打開eclispe到Map/Reduce Locations視圖窗口

2.點擊藍色小大象按鈕

3.配置Map/Reduce Locations信息

注意填寫參數:

Lacation Name:爲該位置命名
MapReduce Master:與$HADOOP_DIRCONF/mapred-site.xml配置保持一致;
HDFS Master:與$HADOOP_DIRCONF/core-site.xml配置保持一致
User Name:登陸hadoop用戶名,能夠填寫其餘的

4.點擊完成便可

5.驗證配置,點擊DFS  Locations

5、總結

         本文主要實踐了eclispe安裝hadoop的插件,和在eclispe下使用hadoop插件鏈接遠程hadoop集羣的操做,後面咱們將使用改開發環境開發hadoop的做業任務。

相關文章
相關標籤/搜索