hadoop中MR執行環境有兩種:本地測試環境,服務器環境

1、本地測試環境

    一、在windows下配置hadoop的環境變量
    二、拷貝debug工具(winutils.ext)到HADOOP_HOME/bin
    三、修改hadoop的源碼  放到src目錄下node

    四、MR調用的代碼須要改變:
        a、src不能有服務器的hadoop配置文件
        b、在調用是使用:
            Configuration config = new  Configuration();
            config.set("fs.defaultFS", "hdfs://node11:8020");
            config.set("yarn.resourcemanager.hostname", "node11");apache

2、服務器環境:

首先須要在src下放置服務器上的hadoop配置文件windows

一、在本地直接調用,執行過程在服務器上(真正企業運行環境)
    a、把MR程序打包(jar),直接放到本地
    b、修改hadoop的源碼 
    c、增長一個屬性:
        config.set("mapred.jar", "C:\\Users\\Administrator\\Desktop\\wc.jar");
    d、本地執行main方法調用MR。服務器

若是出現下面這個錯誤工具

org.apache.hadoop.security.AccessControlException: Permission denied: user=xxx, access=WRITE, inode="xxx":root:supergroup:rwxr-xr-xoop

在hadoop集羣上執行命令 ./hadoop fs -chmod 777 /tmp/hadoop-yarn/staging/xxx     給對應的用戶加權限
    
    
二、直接在服務器上,使用命令的方式調用,執行過程也在服務器上
    a、把MR程序打包(jar),傳送到服務器上
    b、經過: hadoop jar jar路徑  類的全限定名測試

3、Hadoop 「Name node is in safe mode」 錯誤解決方法

命令  bin/hadoop dfsadmin -safemode leavespa

相關文章
相關標籤/搜索