Hadoop 系列（七）—— HDFS Java API

時間 2019-11-16

標籤 hadoop 系列 hdfs java api 欄目 Hadoop 简体版

原文原文鏈接

1、簡介

想要使用 HDFS API，須要導入依賴 hadoop-client。若是是 CDH 版本的 Hadoop，還須要額外指明其倉庫地址：php

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.heibaiying</groupId>
    <artifactId>hdfs-java-api</artifactId>
    <version>1.0</version>


    <properties>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <hadoop.version>2.6.0-cdh5.15.2</hadoop.version>
    </properties>


    <!---配置 CDH 倉庫地址-->
    <repositories>
        <repository>
            <id>cloudera</id>
            <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
        </repository>
    </repositories>


    <dependencies>
        <!--Hadoop-client-->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.12</version>
            <scope>test</scope>
        </dependency>
    </dependencies>

</project>
複製代碼

2、API的使用

2.1 FileSystem

FileSystem 是全部 HDFS 操做的主入口。因爲以後的每一個單元測試都須要用到它，這裏使用 @Before 註解進行標註。java

private static final String HDFS_PATH = "hdfs://192.168.0.106:8020";
private static final String HDFS_USER = "root";
private static FileSystem fileSystem;

@Before
public void prepare() {
    try {
        Configuration configuration = new Configuration();
        // 這裏我啓動的是單節點的 Hadoop,因此副本系數設置爲 1,默認值爲 3
        configuration.set("dfs.replication", "1");
        fileSystem = FileSystem.get(new URI(HDFS_PATH), configuration, HDFS_USER);
    } catch (IOException e) {
        e.printStackTrace();
    } catch (InterruptedException e) {
        e.printStackTrace();
    } catch (URISyntaxException e) {
        e.printStackTrace();
    }
}


@After
public void destroy() {
    fileSystem = null;
}
複製代碼

2.2 建立目錄

支持遞歸建立目錄：git

@Test
public void mkDir() throws Exception {
    fileSystem.mkdirs(new Path("/hdfs-api/test0/"));
}
複製代碼

2.3 建立指定權限的目錄

FsPermission(FsAction u, FsAction g, FsAction o) 的三個參數分別對應：建立者權限，同組其餘用戶權限，其餘用戶權限，權限值定義在 FsAction 枚舉類中。github

@Test
public void mkDirWithPermission() throws Exception {
    fileSystem.mkdirs(new Path("/hdfs-api/test1/"),
            new FsPermission(FsAction.READ_WRITE, FsAction.READ, FsAction.READ));
}
複製代碼

2.4 建立文件，並寫入內容

@Test
public void create() throws Exception {
    // 若是文件存在，默認會覆蓋, 能夠經過第二個參數進行控制。第三個參數能夠控制使用緩衝區的大小
    FSDataOutputStream out = fileSystem.create(new Path("/hdfs-api/test/a.txt"),
                                               true, 4096);
    out.write("hello hadoop!".getBytes());
    out.write("hello spark!".getBytes());
    out.write("hello flink!".getBytes());
    // 強制將緩衝區中內容刷出
    out.flush();
    out.close();
}
複製代碼

2.5 判斷文件是否存在

@Test
public void exist() throws Exception {
    boolean exists = fileSystem.exists(new Path("/hdfs-api/test/a.txt"));
    System.out.println(exists);
}
複製代碼

2.6 查看文件內容

查看小文本文件的內容，直接轉換成字符串後輸出：apache

@Test
public void readToString() throws Exception {
    FSDataInputStream inputStream = fileSystem.open(new Path("/hdfs-api/test/a.txt"));
    String context = inputStreamToString(inputStream, "utf-8");
    System.out.println(context);
}
複製代碼

inputStreamToString 是一個自定義方法，代碼以下：api

/** * 把輸入流轉換爲指定編碼的字符 * * @param inputStream 輸入流 * @param encode 指定編碼類型 */
private static String inputStreamToString(InputStream inputStream, String encode) {
    try {
        if (encode == null || ("".equals(encode))) {
            encode = "utf-8";
        }
        BufferedReader reader = new BufferedReader(new InputStreamReader(inputStream, encode));
        StringBuilder builder = new StringBuilder();
        String str = "";
        while ((str = reader.readLine()) != null) {
            builder.append(str).append("\n");
        }
        return builder.toString();
    } catch (IOException e) {
        e.printStackTrace();
    }
    return null;
}
複製代碼

2.7 文件重命名

@Test
public void rename() throws Exception {
    Path oldPath = new Path("/hdfs-api/test/a.txt");
    Path newPath = new Path("/hdfs-api/test/b.txt");
    boolean result = fileSystem.rename(oldPath, newPath);
    System.out.println(result);
}
複製代碼

2.8 刪除目錄或文件

public void delete() throws Exception {
    /* * 第二個參數表明是否遞歸刪除 * + 若是 path 是一個目錄且遞歸刪除爲 true, 則刪除該目錄及其中全部文件; * + 若是 path 是一個目錄但遞歸刪除爲 false,則會則拋出異常。 */
    boolean result = fileSystem.delete(new Path("/hdfs-api/test/b.txt"), true);
    System.out.println(result);
}
複製代碼

2.9 上傳文件到HDFS

@Test
public void copyFromLocalFile() throws Exception {
    // 若是指定的是目錄，則會把目錄及其中的文件都複製到指定目錄下
    Path src = new Path("D:\\BigData-Notes\\notes\\installation");
    Path dst = new Path("/hdfs-api/test/");
    fileSystem.copyFromLocalFile(src, dst);
}
複製代碼

2.10 上傳大文件並顯示上傳進度

@Test
    public void copyFromLocalBigFile() throws Exception {

        File file = new File("D:\\kafka.tgz");
        final float fileSize = file.length();
        InputStream in = new BufferedInputStream(new FileInputStream(file));

        FSDataOutputStream out = fileSystem.create(new Path("/hdfs-api/test/kafka5.tgz"),
                new Progressable() {
                  long fileCount = 0;

                  public void progress() {
                     fileCount++;
                     // progress 方法每上傳大約 64KB 的數據後就會被調用一次
                     System.out.println("上傳進度：" + (fileCount * 64 * 1024 / fileSize) * 100 + " %");
                   }
                });

        IOUtils.copyBytes(in, out, 4096);

    }
複製代碼

2.11 從HDFS上下載文件

@Test
public void copyToLocalFile() throws Exception {
    Path src = new Path("/hdfs-api/test/kafka.tgz");
    Path dst = new Path("D:\\app\\");
    /* * 第一個參數控制下載完成後是否刪除源文件,默認是 true,即刪除; * 最後一個參數表示是否將 RawLocalFileSystem 用做本地文件系統; * RawLocalFileSystem 默認爲 false,一般狀況下能夠不設置, * 但若是你在執行時候拋出 NullPointerException 異常,則表明你的文件系統與程序可能存在不兼容的狀況 (window 下常見), * 此時能夠將 RawLocalFileSystem 設置爲 true */
    fileSystem.copyToLocalFile(false, src, dst, true);
}
複製代碼

2.12 查看指定目錄下全部文件的信息

public void listFiles() throws Exception {
    FileStatus[] statuses = fileSystem.listStatus(new Path("/hdfs-api"));
    for (FileStatus fileStatus : statuses) {
        //fileStatus 的 toString 方法被重寫過，直接打印能夠看到全部信息
        System.out.println(fileStatus.toString());
    }
}
複製代碼

FileStatus 中包含了文件的基本信息，好比文件路徑，是不是文件夾，修改時間，訪問時間，全部者，所屬組，文件權限，是不是符號連接等，輸出內容示例以下：bash

FileStatus{
path=hdfs://192.168.0.106:8020/hdfs-api/test; 
isDirectory=true; 
modification_time=1556680796191; 
access_time=0; 
owner=root; 
group=supergroup; 
permission=rwxr-xr-x; 
isSymlink=false
}
複製代碼

2.13 遞歸查看指定目錄下全部文件的信息

@Test
public void listFilesRecursive() throws Exception {
    RemoteIterator<LocatedFileStatus> files = fileSystem.listFiles(new Path("/hbase"), true);
    while (files.hasNext()) {
        System.out.println(files.next());
    }
}
複製代碼

和上面輸出相似，只是多了文本大小，副本系數，塊大小信息。app

LocatedFileStatus{
path=hdfs://192.168.0.106:8020/hbase/hbase.version; 
isDirectory=false; 
length=7; 
replication=1; 
blocksize=134217728; 
modification_time=1554129052916; 
access_time=1554902661455; 
owner=root; group=supergroup;
permission=rw-r--r--; 
isSymlink=false}
複製代碼

2.14 查看文件的塊信息

@Test
public void getFileBlockLocations() throws Exception {

    FileStatus fileStatus = fileSystem.getFileStatus(new Path("/hdfs-api/test/kafka.tgz"));
    BlockLocation[] blocks = fileSystem.getFileBlockLocations(fileStatus, 0, fileStatus.getLen());
    for (BlockLocation block : blocks) {
        System.out.println(block);
    }
}
複製代碼

塊輸出信息有三個值，分別是文件的起始偏移量 (offset)，文件大小 (length)，塊所在的主機名 (hosts)。maven