windows 下搭建單hadoop

一，原料準備

1，下載hadoop 地址：hadoophttps://hadoop.apache.org/releases.html

2，下載JDK 地址:https://www.oracle.com/technetwork/java/javase/downloads/index.html

3,  下載window util for hadoop （https://codeload.github.com/gvreddy1210/bin/zip/master，請注意須要與window系統的32位或64位一致），解壓後覆蓋到hadoop\bin目錄，（若是在測試中有問題，請將hadoop.dll拷貝到C:\\Window\system32目錄，本人在測試中沒有遇到問題，因此沒有拷貝），另外，此util與具體的hadoop版本是有關的，若是選用不一樣的hadoop版本，須要找到正確的util，目前hadoop並無提供window util，因此若是沒法在網上找到合適的版本，那須要本身編譯 （附：window util 編譯的方法：Apache Hadoop 2.7.1 binary for Windows 64-bit platform）

4，配置jdk安裝環境變量，配置hadoop安裝環境變量

5，建立hadoop的namedate，datanode，temp,文件目錄

二，開始配置hadoop的配置文件

hadoop 相關配置文件設置，涉及到4個主要的配置文件：core-site.xml, hdfs-site.xml, mapped-site.xml, yarn-site.xml

這些配置文件在hadoop安裝目錄的etc/hadoop下。

1，core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/D:/hadoop/temp</value>
    </property>
</configuration>

 

2，hdfs-site.xml

在 hdfs-site.xml 中配置 nameNode，dataNode 的本地目錄信息，以及分片備份詳細以下

<configuration>
    

    <property>        
        <name>dfs.data.dir</name>        
        <value>/D:/hadoop/datanode</value>    
    </property>

    <property>
        <name>dfs.name.dir</name>
        <value>/D:/hadoop/namenode</value>
    </property>

　　<property>        
        <name>dfs.replication</name>        
        <value>1</value>    
    </property> 

</configuration>

 

3，mapped-site.xml

在 mapred-site.xml 中配置其使用 Yarn 框架執行 map-reduce 處理程序，詳細以下

這個文件可能沒有，在這個目錄下有個mapred-site.xml.template，重命名爲mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

4，yarn-site.xml

最後在 Yarn-site.xml 中配置 ResourceManager，NodeManager 的通訊端口，web 監控端口等，詳細以下

<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>1024</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>4096</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.cpu-vcores</name>
        <value>1</value>
    </property>

 

 

5,安裝ssh在個人上篇博客https://www.cnblogs.com/simith/p/10027841.html

6，在hadoop 配置jdk，找到 hadoop-evn.cmd,這個文件在hadoop的安裝目錄 的etc/hadoop下

找到JAVA_HOME=[JDK的安裝目錄]

好比：set JAVA_HOME=D:\Java\jdk1.8.0_131

 

7，上面步驟完成設置後，就能夠試着運行hadoop了

首先：格式化namenode：進入到hadoop\bin目錄，執行命令：hadoop namenode -format

啓動或中止hadoop：進入到sbin目錄，執行命令：start-all.cmd

運行在cmd中輸入 jps查看運行進程

 

中止： stop-all.cmd