windows 下安裝和運行 hadoop

windows下安裝hadoop,直接去官網採用簡單暴力的方法:node

一、下載hadoop的安裝包:http://hadoop.apache.org/->左邊點Releases->點mirror site->點http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common->下載hadoop-2.9.0.tar.gz;apache

二、解壓安裝包:將下載包解壓到指定目錄,並添加環境變量;解壓出來一個目錄:D:\hadoop-2.9.0,將bin路徑配置到環境變量中。而後http://download.csdn.net/detail/wuxun1997/9841472下載相關工具類,直接解壓後把文件丟到D:\hadoop-2.9.0\bin目錄中去,將其中的hadoop.dll在c:/windows/System32下也丟一份;windows

三、去D:\hadoop-2.9.0\etc\hadoop找到下面4個文件並按以下最小配置粘貼上去:工具

core.site.xmloop

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>    
</configuration>

hdfs-site.xmlspa

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>    
        <name>dfs.namenode.name.dir</name>    
        <value>file:/hadoop/data/dfs/namenode</value>    
    </property>    
    <property>    
        <name>dfs.datanode.data.dir</name>    
        <value>file:/hadoop/data/dfs/datanode</value>  
    </property>
</configuration>

mapred-site.xml.net

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

yarn-site.xmlcode

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

四、接下來處理一個環境變量的問題,進入到etc\hadoop目錄下,編輯hadoop-env.cmd  修改JAVA_HOME目錄爲你本身的jdk的路徑;注意,若是路徑中安裝在Program Files目錄下,名稱用\PROGRA~1\,不然中間的空格會致使路徑失效。orm

五、進入到bin目錄,運行hdfs namenode -formatxml

六、進入sbin目錄:start-all.cmd

相關文章
相關標籤/搜索