安裝配置JDK+Eclipse+Maven、Eclipse裏新建Maven Project以及HDFS命令和Java API-課堂內容

步驟：1.安裝JDK→2.安裝Eclipse→3.安裝Maven→4. Eclipse裏配置Maven （下載Windows版本，在Windows裏安裝使用。）

1.安裝配置JDK

①官網下載Java開發工具安裝包jdk-8u201-windows-x64.exe：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

②運行安裝包，第一次選擇JDK安裝路徑，第二次選擇JRE安裝路徑，開始安裝。

③配置JDK的環境變量，Path添加JDK的\bin的安裝路徑，cmd命令行運行javac，查看是否成功安裝配置。

2.安裝Eclipse

①官網下載Eclipse安裝包eclipse-inst-win64：https://www.eclipse.org/downloads/

②運行安裝包，選擇Eclipse IDE for Java Developers，開始安裝。過程可能較慢。

3.安裝Maven

① Maven官網http://maven.apache.org/download.cgi，選擇最近的鏡像，選擇Maven壓縮包apache-maven-3.6.0-bin.tar.gz開始下載。

②解壓Maven壓縮包apache-maven-3.6.0-bin.tar.gz，解壓後的文件夾\apache-maven-3.6.0，將其考入自定義路徑，如C:\eclipse\apache-maven-3.6.0。

③配置Maven的環境變量，Path添加Maven的\bin的安裝路徑，cmd命令行運行mvn -v，查看是否成功安裝配置。

4.Eclipse配置Maven

①修改settings.xml

在安裝所在文件夾\apache-maven-3.6.0下面，新建\repository文件夾，做爲Maven本地倉庫。在文件settings.xml裏添加 <localRepository>C:\eclipse\apache-maven-3.6.0\repository</localRepository>。

②配置Maven的installation和User Settings

【Preferences】→【Maven】→【Installations】配置Maven安裝路徑，【User Settings】配置settings.xml的路徑。

③添加pom.xml依賴

依賴（Maven Repository: hadoop）所在網址：https://mvnrepository.com/tags/hadoop ，找到對應版本的三個依賴（以下），拷貝至pom.xml的<project>與</project>之間，保存以後自動生成Maven Dependencies。

<dependencies>

  <dependency>

      <groupId>org.apache.hadoop</groupId>

      <artifactId>hadoop-hdfs</artifactId>

      <version>2.7.3</version>

  </dependency>

  <dependency> 

      <groupId>org.apache.hadoop</groupId> 

      <artifactId>hadoop-client</artifactId> 

      <version>2.7.3</version> 

  </dependency>

  <dependency>

      <groupId>org.apache.hadoop</groupId>

      <artifactId>hadoop-common</artifactId>

      <version>2.7.3</version>

  </dependency>

</dependencies>

安裝配置成功後，Maven項目樹顯示以下兩項：

 

在Eclipse裏新建Maven Project

在Eclipse裏新建Maven Project

 

 

輸入com.bla，項目名稱HDFSTest。

 

自動生成Maven項目，新建包hdfs.files，包裏新建class：4個java文件。

編程過程使用Eclipse快捷鍵

Alt+/  自動補全單詞

Ctrl+1 自動修正，自動添加包、異常。

 

Linux的shell命令

經常使用的linux的shell命令：

cd /aa          轉到/aa目錄

pws            顯示當前目錄

ll /aa           顯示/aa目錄

mkdir /aa       新建/aa目錄

rm /aa/out.txt   刪除/aa目錄下的out.txt文件

cat /aa/out.txt   查看/aa目錄下的out.txt文件的內容

vi /aa/out.txt    編輯/aa目錄下的out.txt文件的內容

ifconfig         查看IP地址

ip addr         查看IP地址

hdfs的shell命令

hdfs的shell命令，有三種形式，用前面兩個。

hdfs dfs    √

hadoop fs  √

hadoop dfs  ×

經常使用的hdfs的shell命令：

hdfs dfs -ls /  查看hdfs根目錄下文件和目錄

hdfs dfs -ls -R /      查看hdfs根目錄下包括子目錄在內的全部文件和目錄

hdfs dfs -mkdir /aa/bb  在hdfs的/aa目錄下新建/bb目錄

hdfs dfs -rm -r /aa/bb   刪除hdfs的/aa目錄下的/bb目錄

hdfs dfs -rm /aa/out.txt  刪除hdfs的/aa目錄下的out.txt文件

 

hdfs dfs -put anaconda-ks.cfg /aa        把本地文件上傳到hdfs

hdfs dfs -copyFromLocal a.txt /          把本地文件上傳到hdfs

hdfs dfs -get /bb.txt bbcopy.txt          從hdfs下載文件到本地

hdfs dfs -copyToLocal /bb.txt bbcopy.txt   從hdfs下載文件到本地

 

HDFS的Java程序

1、HDFSMKdir.java新建HDFS目錄/aadir。

 

2、HDFSUpload.java寫入/上傳 本地文件c:\\hdfs\\aa.txt 到HDFS的/aadir目錄下。

 

加載包：

3、HDFSDownload.java讀/下載 HDFS的根目錄文件/bb.txt 到本地c:\\hdfs目錄下。

 

加載包：

 

4、HDFSFileIfExist.java查看HDFS文件/bb.txt是否存在。

 

實驗步驟以下：

1. 搭建Hadoop僞分佈式模式、或者徹底分佈式模式
2. Windows裏安裝配置JDK+Eclipse+Maven
3. 在Eclipse裏新建Maven Project，新建包，新建class
4. 編程上述4個Java程序
5. 虛擬機的namenode主機上，啓動Hadoop
6. 在eclipse裏運行上述4個Java程序
7. 使用hdfs的shell命令查看運行結果
8. 使用web console查看運行結果
9. Windows裏安裝配置JDK+Eclipse+Maven
10. 編程調試上述4個Java程序