Win10下安裝Hadoop3.1.2詳解

Win10下安裝Hadoop3.1.2詳解

嘗試在本地win10上安裝hadoop，在官網選擇了最新的hadoop版本，就是這裏開始給本身挖了坑，對着網上的博客一頓操做，發現節點一直啓動不成功。本着不放棄的原則，在不停的配置過程當中繼續折騰，終於解決問題。

安裝環境

• JDK 1.8
• Windows10
• Hadoop3.1.2

JDK 安裝參考我以前Java的博客 ：JDK安裝詳解

這裏須要注意的若是jdk版本太高可能會帶來問題

安裝Hadoop

1. 官網下載Hadoop3.1.2 ：下載地址
2. 解壓到自定義的文件夾，我這裏選擇個人路徑

F:\Environment\hadoop-3.1.2\hadoop

1. 配置環境變量

JAVA_HOME : F:\Environment\java\jdk1.8.0_181
HADOOP_HOME ： F:\Environment\hadoop-3.1.2\hadoop

path添加 ：
    %JAVA_HOME%\bin
    %JAVA_HOME%\jre\bin
    %HADOOP_HOME%\bin

1. 檢測是否安裝成功

java -version
hadoop - version

出現以上信息說明安裝成功 ！

修改配置文件

須要修改的文件在解壓後的目錄下，F:\Environment\hadoop-3.1.2\hadoop\etc\hadoop

hadoop-env.cmd

用Notepad++ 打開hadoop-env.cmd文件
找到**set JAVA_HOME=%JAVA_HOME%**一行，將其值修改成jdk所在目錄
若是目錄帶有空格，能夠經過下面兩種方式處理：
這裏以安裝目錄爲C:\Program Files\Java\jdk1.8.0_181爲例
由於Program Files中存在空格，如果直接使用會出現錯誤，能夠下面兩種方式之一進行處理：
只須要用PROGRA~1 代替Program Files，即改成C:\PROGRA~1\Java\jdk1.8.0_18
或是使用雙引號改成 「C:\Program Files」\Java\jdk1.8.0_181

core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

mapred-site.xml

<configuration>
     <property>
          <name>mapreduce.framework.name</name>
          <value>yarn</value>
    </property>
 </configuration>

yarn-site.xml

<configuration>
         <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        
        <property>
                <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
                <value>org.apache.hahoop.mapred.ShuffleHandler</value>
        </property>
 </configuration>

hdfs-site.xml

須要再hadoop解壓的根目錄下建立一個data文件夾，並在data下建立namenode和datanode兩個子文件夾；

而後添加配置文件 ：

<configuration>
    <!-- 這個參數設置爲1，由於是單機版hadoop -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property> 
     <name>dfs.permissions</name> 
     <value>false</value> 
  </property>
   <property>
       <name>dfs.namenode.name.dir</name>
       <value>/F:/Environment/hadoop-3.1.2/hadoop/data/namenode</value>
   </property>
   <property>
        <name>fs.checkpoint.dir</name>
        <value>/F:/Environment/hadoop-3.1.2/hadoop/data/snn</value>
    </property>
    <property>
        <name>fs.checkpoint.edits.dir</name>
        <value>/F:/Environment/hadoop-3.1.2/hadoop/data/snn</value>
    </property>
       <property>
       <name>dfs.datanode.data.dir</name>
       <value>/F:/Environment/hadoop-3.1.2/hadoop/data/datanode</value>
   </property>
</configuration>

配置文件修改完畢 ！

替換bin文件

下載的Hadoop不支持Windows系統，須要替換bin目錄下的文件方便在Windows上運行。這也是掉坑來的地方了！！！！
在網上下載到的hadooponwindows-master.zip 以及winutils中應該是隻適合hadoop 3.0.0及其如下，嘗試過hadooponwindows-master.zip以及winutils中最高的版本3.0.0，啓動hadoop都會出現下面的錯誤：Error starting NodeManager、UnsatisfiedError

折騰了很久（低版本的hadoop還沒下載完畢），終於找到3.1.0版本winutils,下載後直接替換掉hadoop目錄下bin文件便可：

複製yarn的jar包

能夠看到resourcemanager.ResourceManager: Error starting ResourceManager啓動失敗的日誌
報了類TimelineCollectorManager找不到的錯誤。

解決方法: 
F:\Environment\hadoop-3.1.2\hadoop\share\hadoop\yarn\timelineservice 
將這個文件夾下的hadoop-yarn-server-timelineservice-3.1.2.jar 包 
複製到這個路徑下 F:\Environment\hadoop-3.1.2\hadoop\share\hadoop\yarn 便可解決。

格式化HDFS文件系統

hdfs namenode -format

若是這一步沒有什麼異常基本沒有問題了。

啓動

進入hadoop的sbin目錄
我這裏在 ： F:\Environment\hadoop-3.1.2\hadoop\sbin

# 啓動
# 會自動開啓四個新的命令行窗口，窗口沒打印異常即啓動成功
start-all

# 中止
stop-all

# 查看正在運行的實例進程及端口
jps

這四個窗口不能關閉 ， 不然進程會結束

訪問管理GUI

啓動成功後，能夠訪問GUI頁面

http://localhost:8088

http://localhost:9870

最後咱們中止一下全部進程

結尾

運行結束後你會發現hadoop安裝的磁盤根目錄下多了一個tmp臨時文件目錄

裏面有一些 Hadoop的緩存文件 ， 能夠酌情清理 ！

編輯不易 ， 轉載註明出處 ： 西部開源-秦疆 2019.07.06 00:47 更新