hadoop map reduce在windows下調試運行的配置步驟

一、項目的maven的pom.xml中,hadoop-client.jar版本必須與本地的hadoop安裝版本必須一致,否則會報錯。node

二、hadoop2.4版本後已經沒有winutil.exe和hadoop.dll文件,從http://download.csdn.net/download/myamor/8393471 或者 百度雲盤連接:https://pan.baidu.com/s/1miXLE6s (密碼:x32b   ),下載hadoop-common-2.2.0-bin-master.zip後將hadoop.dll拷貝到c:/windows/system32中,而後將bin目錄覆蓋到本地的hadoop的安裝路徑的bin目錄中。windows

三、將core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml拷貝到項目工程的src/resources目錄。在core-site.xml中註釋掉如下代碼:eclipse

<!--<property>
   <name>fs.defaultFS</name>
   <value>hdfs://hadoop.node.master:8020</value>
</property>
<property>
   <name>hadoop.tmp.dir</name>
   <value>/usr/local/hadoop/hadoop-2.5.0/data/tmp</value>
</property>-->

在mapred-site.xml中配置如下屬性:maven

<property>
    <name>mapreduce.framework.name</name>
    <value>local</value>
</property>

四、配置windows的環境變量:HADOOP_HOME、PATH。ide

至此,在intellij idea或者eclipse運行main函數,就能夠在本地調試了。函數

相關文章
相關標籤/搜索