Win10 下 hadoop3.0.0 單機部署

前言

因近期要作 hadoop 有關的項目，需配置 hadoop 環境，簡單起見就準備進行單機部署，方便開發調試。順便記錄下採坑步驟，方便碰到一樣問題的朋友們。

安裝步驟

1、下載 hadoop-XXX.tar.gz

下載地址：http://archive.apache.org/dist/hadoop/core/

將文件解壓至無空格目錄下，好像時間有那麼點點久。。。。。

注：解壓需管理員權限！！！

添加環境變量

添加HADOOP_HOME配置

在 path 中添加 bin 目錄 C:\hadoop-3.0.0\bin

JAVA_HOME

 

2、hadoop配置

一、修改C:/hadoop-3.0.0/etc/hadoop/core-site.xml配置:

<configuration>
<property>
    <name>fs.default.name</name>
  <value>hdfs://localhost:9000</value>
 </property>
 <property>
  <name>hadoop.tmp.dir</name>
  <value>/C:/hadoop-3.0.0/data/tmp</value>
 </property>
</configuration>

二、修改C:/hadoop-3.0.0/etc/hadoop/mapred-site.xml配置:

<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
   </property>
</configuration>

三、在C:/hadoop-3.0.0目錄下建立data目錄，做爲數據存儲路徑：

• 在D:/hadoop-3.0.0/data目錄下建立datanode目錄；
• 在D:/hadoop-3.0.0/data目錄下建立namenode目錄；

四、修改C:/hadoop-3.0.0/etc/hadoop/hdfs-site.xml配置:

<configuration>
    <!-- 這個參數設置爲1，由於是單機版hadoop -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property> 
     <name>dfs.permissions</name> 
     <value>false</value> 
  </property>
   <property>
       <name>dfs.namenode.name.dir</name>
       <value>/C:/hadoop-3.0.0/data/namenode</value>
   </property>
   <property>
        <name>fs.checkpoint.dir</name>
        <value>/C:/hadoop-3.0.0/data/snn</value>
    </property>
    <property>
        <name>fs.checkpoint.edits.dir</name>
        <value>/C:/hadoop-3.0.0/data/snn</value>
    </property>
       <property>
       <name>dfs.datanode.data.dir</name>
       <value>/C:/hadoop-3.0.0/data/datanode</value>
   </property>
</configuration>

五、修改C:/hadoop-3.0.0/etc/hadoop/yarn-site.xml配置:

<configuration>
<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
   </property>
   <property>
          <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>  
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
   </property>
</configuration>

六、修改C:/hadoop-3.0.0/etc/hadoop/hadoop-env.cmd配置，添加

set JAVA_HOME=%JAVA_HOME%

set HADOOP_PREFIX=%HADOOP_HOME%

set HADOOP_CONF_DIR=%HADOOP_PREFIX%\etc\hadoop

set YARN_CONF_DIR=%HADOOP_CONF_DIR%

set PATH=%PATH%;%HADOOP_PREFIX%\bin

七、bin目錄替換

至https://github.com/steveloughran/winutils下載解壓,而後找到對應的版本後完整替換bin目錄便可

至此，咱們的配置就完成了

3、啓動服務

一、打開cmd

cd C:\hadoop-3.0.0\bin

hdfs namenode -format

二、經過start-all.cmd啓動服務：

C:\hadoop-3.0.0\sbin\start-all.cmd

而後能夠看到同時打開了4個cmd窗口

• Hadoop Namenode
• Hadoop datanode
• YARN Resourc Manager
• YARN Node Manager 

經過http://127.0.0.1:8088/便可查看集羣全部節點狀態：

 

訪問http://localhost:9870/便可查看文件管理頁面：

 

總結

一次還算比較順利的採坑，後面準備開始肝項目了 orz。。。