Hadoop_20_MapReduce程序的運行模式

1.MapReduce程序的運行模式

1. Windows中運行MapReduce程序

（1）mapreduce程序是被提交給LocalJobRunner在本地以單進程的形式運行

（2）而處理的數據及輸出結果能夠在本地文件系統，也能夠在hdfs上

（3）設置MapReduce程序的conf配置參數(不配默認)：

（4）本地模式很是便於進行業務邏輯的debug，只要在eclipse中打斷點便可

（5）在windows下運行本地模式來測試程序邏輯，須要在windows中配置環境變量：

％HADOOP_HOME％ = d:/hadoop-2.6.1  %PATH% = ％HADOOP_HOME％\bin(記得重啓)

而且要將d:/hadoop-2.6.4的lib和bin目錄替換成windows平臺編譯的版本

運行程序：

 

2. 集羣運行MapReduce程序

（1）將mr程序提交給yarn集羣resourcemanager，分發到不少的節點上併發執行

（2）處理的數據和輸出結果應該位於hdfs文件系統

（3）提交集羣的實現步驟：

A、將程序打成JAR包，而後在集羣的任意一個節點上用hadoop命令啓動：

　hadoop jar workcount.jar ..WordcountDriver /wc/input1 /wc/output

B、直接在linux的eclipse中運行main方法

（項目中要帶參數：mapreduce.framework.name=yarn以及yarn的兩個基本配置）

C、若是在windows的eclipse中提交MR到集羣運行，則要修改YarnRunner類