攻城獅在路上(陸)-- 提交運行MapReduce程序到hadoop集羣運行

此種方式不能直接在eclipse中調試代碼。java

首先須要在src下放置服務器上的hadoop配置文件:core-site.xml\yarn-site.xml\hdfs-site.xml\mapred-site.xmlapache

一、在本地直接調用,執行過程在服務器上(真正企業運行環境)服務器

    a、首先把MR程序打包(jar),直接放到本地,好比C:\\Users\\Administrator\\Desktop\\wc.jareclipse

    b、修改hadoop的源碼 ,在新建的Java project中拷貝下面路徑的Java代碼。路徑保持和原來一致。注意:確保項目的lib須要真實安裝的jdk的liboop

org/apache/hadoop/io/nativeio/NativeIO.java
org/apache/hadoop/mapred/YARNRunner.java

    c、在java project的buildpath中設置,jdk不要使用eclipse自帶的,修改成本身本地安裝的Jdk。ui

    d、增長一個屬性:spa

        config.set("mapred.jar", "C:\\Users\\Administrator\\Desktop\\wc.jar");調試

    e、本地執行main方法,能夠使用servlet在界面中調用MR。code

二、直接在服務器上,使用命令的方式調用,執行過程也在服務器上xml

    a、把MR程序打包(jar),傳送到服務器上

    b、在服務器上經過: hadoop jar jar路徑  類的全限定名  來執行。

相關文章
相關標籤/搜索