一、在windows下配置hadoop的環境變量
二、拷貝debug工具(winutils.ext)到HADOOP_HOME/bin
三、修改hadoop的源碼 放到src目錄下node
四、MR調用的代碼須要改變:
a、src不能有服務器的hadoop配置文件
b、在調用是使用:
Configuration config = new Configuration();
config.set("fs.defaultFS", "hdfs://node11:8020");
config.set("yarn.resourcemanager.hostname", "node11");apache
首先須要在src下放置服務器上的hadoop配置文件windows
一、在本地直接調用,執行過程在服務器上(真正企業運行環境)
a、把MR程序打包(jar),直接放到本地
b、修改hadoop的源碼
c、增長一個屬性:
config.set("mapred.jar", "C:\\Users\\Administrator\\Desktop\\wc.jar");
d、本地執行main方法調用MR。服務器
若是出現下面這個錯誤工具
org.apache.hadoop.security.AccessControlException: Permission denied: user=xxx, access=WRITE, inode="xxx":root:supergroup:rwxr-xr-xoop
在hadoop集羣上執行命令 ./hadoop fs -chmod 777 /tmp/hadoop-yarn/staging/xxx 給對應的用戶加權限
二、直接在服務器上,使用命令的方式調用,執行過程也在服務器上
a、把MR程序打包(jar),傳送到服務器上
b、經過: hadoop jar jar路徑 類的全限定名測試
命令 bin/hadoop dfsadmin -safemode leavespa