【Hadoop】：Windows下使用IDEA搭建Hadoop開發環境

時間  2021-01-02
標籤 html java node linux git github apache 編程 windows 瀏覽器 欄目 Hadoop 简体版
原文   原文鏈接

筆者鼓弄了兩個星期，終於把全部有關hadoop的環境配置好了，一是虛擬機上的徹底分佈式集羣，可是爲了平時寫代碼的方便，則在windows上也配置了hadoop的僞分佈式集羣，同時在IDEA上就能夠編寫代碼，同時在windows環境下進行運行。（若是不配置windows下的僞分佈式集羣，則在IDEA上編寫的代碼沒法在windows平臺下運行）。筆者在網絡上找了不少有關windows下使用idea搭建hadoop開發環境的中文教程都不太全，最後使用國外的英文教程配置成功，所以這裏整理一下，方便你們使用。html

 

個人開發環境以下：java

　　1.Windows10node

　　2.Java 8 linux

　　3.VMware-workstation-progit

 

1.Hadoop在windows當中的安裝

首先在Windows系統裏打開瀏覽器，下載hadoop的安裝包（二進制文件）:http://hadoop.apache.org/releases.htmlgithub

打開網址，咱們會發現這樣的界面：
apache

 因爲hadoop在開發當中咱們經常使用了2.x版本的，所以這裏咱們這裏下載2.10.1版本的。若是你想使用其餘版本的進行下載，那麼在下載以前須要檢查如下maven倉庫裏是否有相應版本所對應的版本，否則在使用IDEA進行開發的時候，則沒法運行。咱們打開網址：https://mvnrepository.com/編程

在其中搜索hadoop.則會出現如下的界面：windows

 鼠標往下滑動,發現果真！2.10.1的版本出現了！所以咱們可使用找個版本的hadoop，由於在maven倉庫裏是能夠找到的，這樣就不會出現沒法編程調用hadoop的問題：瀏覽器

2.將下載的文件進行解壓

咱們下載以後的文件二進制文件後綴名爲tar.gz，你能夠來到你下載的地方，使用windows下的壓縮包軟件直接進行解壓，我使用的是2345壓縮軟件進行的解壓。有些教程讓咱們必須在windows下模擬的linux環境下（MinGW）纔可以解壓，其實徹底不用，就把tar.gz看成普通的壓縮文件就行了，解壓以後將文件夾改名爲hadoop。

3.設置環境變量

  1. 一方面是要設置好Java的環境變量
  2. 另外一方面是要設置好剛剛下載的Hadoop的環境變量

咱們在環境變量處分別設置JAVA_HOME和HADOOP_HOME（目的是爲了hadoop在運行的時候可以找到本身和java的地方在哪兒）:

 而後在Path裏添加JAVA和hadoop的二進制文件夾，bin文件夾，目的是咱們這樣就可使用cmd對java和haodoop進行操做：

 4.驗證環境變量的配置

打開你的cmd，輸入如下命令，出現我這樣的輸出說明配置環境變量成功：

C:\Users\lenovo>hadoop -version
java version "1.8.0_162"
Java(TM) SE Runtime Environment (build 1.8.0_162-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.162-b12, mixed mode)

5.HDFS的配置

接下來就是配置HDFS的文件，進行僞分佈式集羣以適應你的計算機。（備註：僞分佈式集羣也是分佈式集羣，能夠起動分佈式計算的效果）

咱們來到以前解壓的hadoop文件夾下，打開etc/hadoop文件夾，發現裏面有不少文件：

 如今咱們的任務就是修改這些文件當中的代碼，務必修改，否則根本沒法運行hadoop！！

6.修改 hadoop-env.cmd

打開這個文件，在找個文件當中的末尾添加上：

set HADOOP_PREFIX=%HADOOP_HOME%
set HADOOP_CONF_DIR=%HADOOP_PREFIX%\etc\hadoop
set YARN_CONF_DIR=%HADOOP_CONF_DIR%
set PATH=%PATH%;%HADOOP_PREFIX%\bin

7.修改core-site.xml

將configuration處更改成：

<configuration>
   <property>
     <name>fs.defaultFS</name>
     <value>hdfs://0.0.0.0:9000</value>
   </property>
</configuration>

8.hdfs-site.xml

將configuration處更改成以下所示，其中

file:///F:/DataAnalytics/dfs/namespace_logs
file:///F:/DataAnalytics/dfs/data

這兩個文件夾必定須要是已經存在的文件夾，你能夠在你的hadoop文件夾下隨意建立兩個文件夾，而後將下面的這兩個文件夾的絕對路徑替換成你的文件夾，這裏我也是建立了兩個新的文件夾，hadoop的下載文件夾裏自己是沒有的。

<configuration>
   <property>
     <name>dfs.replication</name>
     <value>1</value>
   </property>
   <property>
     <name>dfs.name.dir</name>
     <value>file:///F:/DataAnalytics/dfs/namespace_logs</value>
   </property>
   <property>
     <name>dfs.data.dir</name>
     <value>file:///F:/DataAnalytics/dfs/data</value>
   </property>
</configuration>

9. mapred-site.xml

將下方的%USERNAME%替換成你windows的用戶名！！！這個十分重要，不要直接複製！！！

<configuration>
   <property>
      <name>mapreduce.job.user.name</name>
      <value>%USERNAME%</value>
    </property>
   <property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
    </property>
  <property>
     <name>yarn.apps.stagingDir</name>
     <value>/user/%USERNAME%/staging</value>
   </property>
  <property>
     <name>mapreduce.jobtracker.address</name>
     <value>local</value>
   </property>
</configuration>

10.yarn-site.xml

修改成以下所示：

<configuration>
   <property>
     <name>yarn.server.resourcemanager.address</name>
     <value>0.0.0.0:8020</value>
   </property>
  <property>
     <name>yarn.server.resourcemanager.application.expiry.interval</name>
     <value>60000</value>
   </property>
  <property>
     <name>yarn.server.nodemanager.address</name>
     <value>0.0.0.0:45454</value>
   </property>
  <property>
     <name>yarn.nodemanager.aux-services</name>
     <value>mapreduce_shuffle</value>
   </property>
  <property>
     <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
     <value>org.apache.hadoop.mapred.ShuffleHandler</value>
   </property>
  <property>
     <name>yarn.server.nodemanager.remote-app-log-dir</name>
     <value>/app-logs</value>
   </property>
  <property>
     <name>yarn.nodemanager.log-dirs</name>
     <value>/dep/logs/userlogs</value>
   </property>
  <property>
     <name>yarn.server.mapreduce-appmanager.attempt-listener.bindAddress</name>
     <value>0.0.0.0</value>
   </property>
  <property>
     <name>yarn.server.mapreduce-appmanager.client-service.bindAddress</name>
     <value>0.0.0.0</value>
   </property>
  <property>
     <name>yarn.log-aggregation-enable</name>
     <value>true</value>
   </property>
  <property>
     <name>yarn.log-aggregation.retain-seconds</name>
     <value>-1</value>
   </property>
  <property>
     <name>yarn.application.classpath</name>
     <value>%HADOOP_CONF_DIR%,%HADOOP_COMMON_HOME%/share/hadoop/common/*,%HADOOP_COMMON_HOME%/share/hadoop/common/lib/*,%HADOOP_HDFS_HOME%/share/hadoop/hdfs/*,%HADOOP_HDFS_HOME%/share/hadoop/hdfs/lib/*,%HADOOP_MAPRED_HOME%/share/hadoop/mapreduce/*,%HADOOP_MAPRED_HOME%/share/hadoop/mapreduce/lib/*,%HADOOP_YARN_HOME%/share/hadoop/yarn/*,%HADOOP_YARN_HOME%/share/hadoop/yarn/lib/*</value>
   </property>
</configuration>

11.初始化環境變量

在windows下的cmd，輸入cmd的命令，用於初始化環境變量。hadoop-env.cmd後綴爲cmd，說明是cmd下可執行的文件：

%HADOOP_HOME%\etc\hadoop\hadoop-env.cmd

12.格式化文件系統（File System）

這個命令在整個hadoop的配置環境和以後的使用當中務必僅使用一次！！！！否則的話後續會致使hadoop日誌損壞，NameNode沒法開啓，整個hadoop就掛了！

將以下的命令輸入到cmd當中進行格式化：

hadoop namenode -format

輸出：

2018-02-18 21:29:41,501 INFO namenode.FSImage: Allocated new BlockPoolId: BP-353327356-172.24.144.1-1518949781495
2018-02-18 21:29:41,817 INFO common.Storage: Storage directory F:\DataAnalytics\dfs\namespace_logs has been successfully formatted.
2018-02-18 21:29:41,826 INFO namenode.FSImageFormatProtobuf: Saving image file F:\DataAnalytics\dfs\namespace_logs\current\fsimage.ckpt_0000000000000000000 using no compression
2018-02-18 21:29:41,934 INFO namenode.FSImageFormatProtobuf: Image file F:\DataAnalytics\dfs\namespace_logs\current\fsimage.ckpt_0000000000000000000 of size 390 bytes saved in 0 seconds.
2018-02-18 21:29:41,969 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0

13.向hadoop文件當中注入winutills文件

因爲windows下想要開啓集羣，會有必定的bug，所以咱們去網站：https://github.com/steveloughran/winutils

下載對應版本的winutils.exe文件。打開這個Github倉庫後以下所示：

 咱們打開hadoop2.8.3/bin，選擇其中的winutils.exe文件進行下載，而後將下載的這個文件放入到本地的hadoop/bin文件當中。否則的話，你打開一下子你的僞分佈式集羣，立刻hadoop就會自動關閉，缺乏這兩個文件的話。

我本地的bin文件最終以下所示：

 14.開啓hadoop集羣

下面就是最激動人心的開啓hadoop集羣了！！！！咱們在cmd當中輸入：

C:\Users\lenovo>%HADOOP_HOME%/sbin/start-all.cmd
This script is Deprecated. Instead use start-dfs.cmd and start-yarn.cmd
starting yarn daemons

這樣就會跳出來不少黑色的窗口，以下所示：

 而後可使用JPS工具查看目前開啓的node有哪些，若是出現namenode，datanode的話說明集羣基本上就成功了。以下所示：

 15.打開本地瀏覽器進行驗證

咱們在瀏覽器輸入localhost:50070,若是可以打開這樣的網頁，說明hadoop已經成功開啓：

接下來就能夠開始IDEA的配置了

16.建立MAVEN項目工程

打開IDEA以後，裏面的參數和項目工程名稱隨便寫，等待工程建立完畢便可。而後咱們編輯pom.xml文件，以下所示：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.atguigu</groupId>
    <artifactId>hdfs1205</artifactId>
    <version>1.0-SNAPSHOT</version>

    <properties>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.compiler.target>
    </properties>
    <dependencies>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>RELEASE</version>
        </dependency>
        <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-core</artifactId>
            <version>2.8.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.10.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.10.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>2.10.1</version>
        </dependency>
    </dependencies>

</project>

由於我使用了2.10.1版本，所以導入的包均爲2.10.1，除了log4j，這個是固定的2.8.2版本的。

而後點擊我箭頭指向的同步maven倉庫，以下所示：

 同步完成以後，IDEA左邊的external libararies處就會顯示大量的有關hadoop的jar包，以下所示：

 這樣就說明咱們導入maven倉庫成功了。

17.編寫代碼

如今咱們開始編寫代碼，在開啓hadoop僞分佈式集羣以後，代碼才能夠運行哦！

代碼以下所示：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.net.URI;

public class Test {
    public static void main(String[] args) throws Exception {
        FileSystem fs = FileSystem.get(new URI("hdfs://127.0.0.1:9000"), new Configuration());

        FileStatus[] files = fs.listStatus(new Path("/"));
        for (FileStatus f : files) {
            System.out.println(f);
        }
        System.out.println("Compile Over");
    }
}

這段代碼的含義是遍歷hadoop文件系統(HDFS)下的root下全部文件的狀態，並輸出，因爲我目前並無在HDFS下put了任何文件，所以不會有輸出，出現這樣的輸出，說明代碼代碼運行成功：

 exit code 0，返回code爲0說明運行成功！

相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程