FlatBuffers初探

我第一次知道FlatBuffers是由於Facebook寫的這篇Android的技術博客文章。它主要介紹了FlatBuffers對比JSON的優點，以及Facebook Android App應用了FlatBuffers後，衍生的數據和界面更新的工做流轉模式。建議去讀一讀，做者仍是一箇中國人哦。

下面開始介紹了一下FlatBuffers，首先看看它和JSON的對比。

   

先引用GitHub frogermcs/FlatBuffs上的兩張Gif效果圖.

那個Loading菊花是幹什麼的呢？點擊上下兩個按鈕開始數據解析，而數據解析是故意放在主線程上執行，而Loading菊花能直觀的辨別解析過程有沒有致使UI卡頓。

左圖，點擊"PARSE JSON"按鈕是用的Gson解析了一個468KB的Json文件，耗時200-300ms。

右圖，點擊"USE FLATBUFFERS"，是「解析」一樣的Json數據可是用FlatBuffers特有的數據格式文件repos_flat.bin。耗時是<10ms。FlatBuffers「解析」的過程，Loading菊花一直保持着流暢的轉動。

 

FlatBuffers到底有什麼樣的魔術，能比JSON快這麼多呢？

其實FlatBuffers實際並無作數據的解析，repos_flat.bin是按照FlatBuffers數據組織格式生成的Byte數組。

FlatBuffer的數據解析是靠一層層的offset偏移量的組合計算定位到數據在Byte數組的位置，進而獲取目標數據的值 。因此FlatBuffer是須要什麼數據，才解析什麼數據，並不須要全量解析。

簡單說，FlatBuffers分爲vtable區和數據區。vtable區保存的是數據的偏移值，數據區保存的是具體的數據值。

 

FlatBuffers的優勢和缺點

優勢：

1. 數據都是從Byte數組中獲取，減小解析過程的內存佔用，減低了GC發生機率。

    Memory Efficient Serialization Library，FlatBuffers是這麼描述本身的。

    這裏有別人作的內存檢測的數據。

2. 無需全量解析，用到的數據才須要解析。

    想象一個很長的ListView，並不須要在初始狀態就把全部的數據都解析出來。滾動到可見狀態的item的數據，才須要被解析。

缺點：

1. 數據獲取都是偏移量計算的解析過程，嵌套層級深的數據，可能帶來性能問題。

2. 不自行作數據緩存的話，每次獲取一樣的數據會有重複計算。

3. Byte數據安全性和完整性有顧慮。也有人專門寫博客代表不會用FlatBuffer哈哈。

 

FlatBuffers的應用

FlatBuffers還能夠「解析」JSON，實際是把JSON數據生成FlatBuffers格式的Byte數組。

如上圖，中間的按鈕「PARSE JSON(FLATBUFFERS)」點擊執行後解析468KB一樣的JSON文件，比Gson節省了約40%的耗時。

做爲應用FlatBuffers的切入點，參考着的frogermsc GitHub Demo，我嘗試把FlatBuffer解析JSON應用到工做項目中。

步驟：

1. 使用FlatBuffers須要引入2個SO和一個JAR，合計1MB；

2. 根據待解析的數據，要寫一個schema文件以下，相似於protocolBuffer的.proto文件的做用；

namespace RankDetail;

table RankDetail {
    code : int;
    msg : string;
}

root_type RankDetail;

3. 經過命令行，根據schema生成相關解析後數據讀取的Java類，這個步驟也相似protocolBuffer；

 

遇到的問題：

1. schema文件的Key-value對的Key不能數字開頭，以下的123key是不符合要求的；

    緣由是由於，FlatBuffers是直接獲取schema文件內的這種key-value的key的值做爲方法名字和變量名字，阿拉伯數字開頭的變量名和方法名是不合法的。

namespace RankDetail;

table RankDetail {
    code : int;
    msg : string;
    123key : string;
}

root_type RankDetail;

2. 解析是在SO的native代碼，遇到失敗就會native crash，缺乏有用的解析失敗的日誌信息，增長開發調試的難度和時間。

 

FlatBuffers最大的威力是解析他自家格式的Byte數組（參考文章開頭的GIF對比），應用到正式環境的功能，須要後臺請求返回的數據是FlatBuffers格式的Bytes數組。另外，FlatBuffers解析的容錯性目前還有待完善提高。但之後，FlatBuffers會是減小內存佔用、提高用戶體驗的利器。