win10上部署Hadoop-2.7.3——非Cygwin、非虛擬機

　　開始接觸Hadoop，聽人說通常都是在Lunix下部署Hadoop，可是本人Lunix不是很瞭解，因此Google如下如何在Win10下安裝Hadoop（以後再在Lunix下弄），找到很多文章，如下是主要參考的文章：

　　一、Hadoop installation on windows without cygwin in 10 mints

　　二、Win10系統安裝Hadoop與Hbase

　　三、Apache Hadoop for Windows Platform

　　這裏是按照第一篇文章操做的。

　　1、安裝jdk，地址爲http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html  具體的操做以及配置環境變量這裏就不演示了，這裏有一點須要注意的是默認會安裝在C:\Program Files 下，開始我也是安裝在這裏，可是後來報錯了，報什麼「JAVA_HOME」的錯誤具體的記不清了。查了一下說是由於安裝路徑中有空格，暈了，因此安裝在以下目錄：

　　2、下載Hadoop，地址爲 https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/stable/  這裏選擇的是hadoop-2.7.3.tar.gz

　　3、將其解壓到某一文件夾，這裏爲D:\hadoop\hadoop-2.7.3

　　4、添加「HADOOP_HOME」環境變量，並添加到Path環境變量中，按照下圖操做

　　5、修改Hadoop配置文件，在這以前你要先下載sardetushar_gitrepo_download ，以後解壓，刪掉D:\hadoop\hadoop-2.7.3目錄下的bin、etc文件夾，用剛剛解壓的替換。

　　一、D:\hadoop\hadoop-2.7.3\etc\hadoop\core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

View Code

　　二、D:\hadoop\hadoop-2.7.3\etc\hadoop\mapred-site.xml

<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>
</configuration>

View Code

　　三、D:\hadoop\hadoop-2.7.3\etc\hadoop\hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
       <name>dfs.namenode.name.dir</name>
       <value>/hadoop/data/namenode</value>
    </property>
    <property>
       <name>dfs.datanode.data.dir</name>
       <value>/hadoop/data/datanode</value>
    </property>
</configuration>

View Code

　　這個配置這裏要感謝一下這篇帖子：http://stackoverflow.com/questions/34871814/failed-to-start-namenode-in-hadoop  按照第一篇教程配置會出錯的！！！

　　若是你的路徑形如d:/hadoop/data/namenode 就會出現上圖錯誤，若是路徑是在E:，那麼上圖中的異常就會是E

　　四、D:\hadoop\hadoop-2.7.3\etc\hadoop\yarn-site.xml

<configuration>
    <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
    </property>
    <property>
       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
       <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

View Code

　　五、D:\hadoop\hadoop-2.7.3\etc\hadoop\hadoop-env.cmd （修改JDK的安裝路徑）

　　6、格式化HDFS文件系統，hdfs namenode -format      以下圖，

　　若是這一步沒有什麼異常基本沒有問題了。

　　7、在命令行（管理員）將目錄指向D:\hadoop\hadoop-2.7.3\sbin，鍵入「start-all」

　　Namenode、Datanode、YARN resourcemanager、YARN nodemanager四個進程啓動成功，再看一下網站截圖：

　　localhost:8088

　　localhost:50070

　　最後咱們可使用「stop-all」中止Hadoop

　　至此，Hadoop部署已經結束。第一次接觸仍是挺興奮的！