Windows10下配置Hadoop2-x環境

1.下載Hadoop並解壓

下載地址

http://hadoop.apache.org/#Download+Hadoop

解壓到路徑：

C:\Hadoop\hadoop-2.6.5

因爲Hadoop在windows上支持的不如linux好，推薦有條件的話仍在Linux上配置Hadoop環境，若是仍要在Windows上使用Hadoop的話，咱們須要在Hadoop的解壓路徑的："C:\Hadoop\hadoop-2.6.5\bin"路徑下添加兩個文件：

hadoop.dll、winutils.exe

而且將 hadoop.dll 複製到系統路徑中：

C:\Windows\System32

2.配置環境變量

打開:

個人電腦(右擊選擇屬性)-->高級系統設置-->環境變量-->點擊新建

添加環境變量:

HADOOP_HOME
複製代碼

對應值爲Hadoop安裝路徑:

C:\Hadoop\hadoop-2.6.5
複製代碼

而後修改環境變量Path: 在尾部新添加Hadoop的bin目錄(尾部沒有";"則記得添加";"):

C:\Hadoop\hadoop-2.6.5\bin
複製代碼

檢查Hadoop環境是否配置好： 在cmd終端中輸入：

hadoop version
複製代碼

若是輸出Hadoop的版本則環境配置完成，若出現JAVA_HOME錯誤則多是由於Java默認安裝在"C:\Program Files\Java"路徑下，出錯緣由是路徑"Program Files"中包含空格，這裏應該修改JAVA_HOME爲："C:\Progra~1\Java\jdk1.8.0_151"，即將"Program Files"修改成"Progra~1"；或者將Java安裝在不含空格的路徑中以解決問題。

3. 修改Hadoop配置文件

在"C:\Hadoop\hadoop-2.6.5\etc\hadoop"目錄下修改一下幾個xml配置文件： （1）core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>    
</configuration>
複製代碼

（2）hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>    
        <name>dfs.namenode.name.dir</name>    
        <value>file:/hadoop/data/dfs/namenode</value>    
    </property>    
    <property>    
        <name>dfs.datanode.data.dir</name>    
        <value>file:/hadoop/data/dfs/datanode</value>  
    </property>
</configuration>
複製代碼

（3）mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>
複製代碼

（4）yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>
複製代碼

4. 運行Hadoop(以管理員身份運行cmd終端)

（1）格式化namenode 在Hadoop路徑下：

hadoop namenode -format
複製代碼

所有啓動：

hadoop .\sbin\start-all.cmd
複製代碼

建立輸入文件夾：

hadoop fs -mkdir /user/"your user name"/input    //中間須要填寫window系統中註冊的用戶名，去C:\user\下查找
複製代碼

將本身建立的文件file1複製到輸入文件夾中：

hadoop fs -put file1 /user/***/input
複製代碼

運行word count示例：

hadoop jar .\share\hadoop\mapreduce\hadoop-mapreduce-examples-2.6.5.jar wordcount input outpu
複製代碼

注意：這裏可能會報錯：

Exception message: CreateSymbolicLink error (1314)

這個錯誤的緣由極可能是用戶權限問題，使用管理員權限運行程序則可成功運行。