Java 文件 IO 操做之 DirectIO

在前文《文件IO操做的一些最佳實踐》中，我介紹了一些 Java 中常見的文件操做的接口，而且就 PageCache 和 DIrect IO 進行了探討，最近我本身封裝了一個 Direct IO 的庫，趁着這個機會，本文重點談談 Java 中 Direct IO 的意義，以及簡單介紹下我本身的輪子。

Java 中的 Direct IO

若是你閱讀過我以前的文章，應該已經瞭解 Java 中經常使用的文件操做接口爲：FileChannel，而且沒有直接操做 Direct IO 的接口。這也就意味着 Java 沒法繞開 PageCache 直接對存儲設備進行讀寫，但對於使用 Java 語言來編寫的數據庫，消息隊列等產品而言，的確存在繞開 PageCache 的需求：

• PageCache 屬於操做系統層面的概念，用戶層面很難干預，User BufferCache 顯然比 Kernel PageCache 要可控
• 現代操做系統會使用盡量多的空閒內存來充當 PageCache，當操做系統回收 PageCache 內存的速度低於應用寫緩存的速度時，會影響磁盤寫入的速率，直接表現爲寫入 RT 增大，這被稱之爲「毛刺現象」

PageCache 可能會好心辦壞事，採用 Direct IO + 自定義內存管理機制會使得產品更加的可控，高性能。

Direct IO 的限制

在 Java 中使用 Direct IO 最終須要調用到 c 語言的 pwrite 接口，並設置 O_DIRECT flag，使用 O_DIRECT 存在很多限制

• 操做系統限制：Linux 操做系統在 2.4.10 及之後的版本中支持 O_DIRECT flag，老版本會忽略該 Flag；Mac OS 也有相似於 O_DIRECT 的機制
• 用於傳遞數據的緩衝區，其內存邊界必須對齊爲 blockSize 的整數倍
• 用於傳遞數據的緩衝區，其傳遞數據的大小必須是 blockSize 的整數倍。
• 數據傳輸的開始點，即文件和設備的偏移量，必須是 blockSize 的整數倍

查看系統 blockSize 大小的方式：stat /boot/|grep "IO Block"

ubuntu@VM-30-130-ubuntu:~$ stat /boot/|grep "IO Block" Size: 4096 Blocks: 8 IO Block: 4096 directory

一般爲 4kb

Java 使用 Direct IO

項目地址

https://github.com/lexburner/kdio

引入依賴

<dependency>
    <groupId>moe.cnkirito.kdio</groupId>
    <artifactId>kdio-core</artifactId>
    <version>1.0.0</version>
</dependency>
複製代碼

注意事項

// file path should be specific since the different file path determine whether your system support direct io
public static DirectIOLib directIOLib = DirectIOLib.getLibForPath("/");
// you should always write into your disk the Integer-Multiple of block size through direct io.
// in most system, the block size is 4kb
private static final int BLOCK_SIZE = 4 * 1024;
複製代碼

Direct IO 寫

private static void write() throws IOException {
    if (DirectIOLib.binit) {
        ByteBuffer byteBuffer = DirectIOUtils.allocateForDirectIO(directIOLib, 4 * BLOCK_SIZE);
        for (int i = 0; i < BLOCK_SIZE; i++) {
            byteBuffer.putInt(i);
        }
        byteBuffer.flip();
        DirectRandomAccessFile directRandomAccessFile = new DirectRandomAccessFile(new File("./database.data"), "rw");
        directRandomAccessFile.write(byteBuffer, 0);
    } else {
        throw new RuntimeException("your system do not support direct io");
    }
}
複製代碼

Direct IO 讀

public static void read() throws IOException {
    if (DirectIOLib.binit) {
        ByteBuffer byteBuffer = DirectIOUtils.allocateForDirectIO(directIOLib, 4 * BLOCK_SIZE);
        DirectRandomAccessFile directRandomAccessFile = new DirectRandomAccessFile(new File("./database.data"), "rw");
        directRandomAccessFile.read(byteBuffer, 0);
        byteBuffer.flip();
        for (int i = 0; i < BLOCK_SIZE; i++) {
            System.out.print(byteBuffer.getInt() + " ");
        }
    } else {
        throw new RuntimeException("your system do not support direct io");
    }
}
複製代碼

主要 API

1. DirectIOLib.java 提供 Native 的 pwrite 和 pread
2. DirectIOUtils.java 提供工具類方法，好比分配 Block 對齊的 ByteBuffer
3. DirectChannel/DirectChannelImpl.java 提供對 fd 的 Direct 包裝，提供相似 FileChannel 的讀寫 API。
4. DirectRandomAccessFile.java 經過 DIO 的方式打開文件，並暴露 IO 接口。

總結

這個簡單的 Direct IO 框架參考了smacke/jaydio，這個庫本身搞了一套 Buffer 接口跟 JDK 的類庫不兼容，且讀寫實現裏面加了一塊 Buffer 用於緩存內容至 Block 對齊有點破壞 Direct IO 的語義。同時，感謝塵央同窗的指導，這個小輪子的代碼量並很少，初始代碼引用自他的一個小 demo（已得到本人受權）。爲何須要這麼一個庫？主要是考慮後續會出現像「中間件性能挑戰賽」和「PolarDB性能挑戰賽」這樣的比賽，Java 自己的 API 可能不足以發揮其優點，若是有一個庫能夠屏蔽掉 Java 和 CPP 選手的差距，豈不是美哉？我也將這個庫發到了中央倉庫，方便你們在本身的代碼中引用。

後續會視需求，會這個小小的輪子增長注入 fadvise，mmap 等系統調用的映射，也歡迎對文件操做感興趣的同窗一塊兒參與進來，pull request & issue are welcome！

擴展閱讀

《文件IO操做的一些最佳實踐》

《PolarDB數據庫性能大賽Java選手分享》

歡迎關注個人微信公衆號：「Kirito的技術分享」，關於文章的任何疑問都會獲得回覆，帶來更多 Java 相關的技術分享。