ProtoBuf試用與JSON的比較

介紹

ProtoBuf 是google團隊開發的用於高效存儲和讀取結構化數據的工具。什麼是結構化數據呢，正如字面上表達的，就是帶有必定結構的數據。好比電話簿上有不少記錄數據，每條記錄包含姓名、ID、郵件、電話等，這種結構重複出現。

同類

XML、JSON 也能夠用來存儲此類結構化數據，可是使用ProtoBuf表示的數據能更加高效，而且將數據壓縮得更小。

原理

ProtoBuf 是經過ProtoBuf編譯器將與編程語言無關的特有的 .proto 後綴的數據結構文件編譯成各個編程語言(Java,C/C++,Python)專用的類文件,而後經過Google提供的各個編程語言的支持庫lib便可調用API。(關於proto結構體怎麼編寫，可自行查閱文檔)

ProtoBuf編譯器安裝

Mac : brew install protobuf

舉個例子

1. 先建立一個proto文件

message.proto

syntax = "proto3";
 
message Person {
    int32 id = 1;
    string name = 2;
    
    repeated Phone phone = 4;
    
    enum PhoneType {
        MOBILE = 0;
        HOME = 1;
        WORK = 2;
    }
 
    message Phone {
        string number = 1;
        PhoneType type = 2;
    }
}

2. 建立一個Java項目

而且將proto文件放置 src/main/proto 文件夾下

3. 編譯proto文件至Java版本

• 用命令行 cd 到 src/main 目錄下
• 終端執行命令 : protoc --java_out=./java ./proto/*.proto
• 會發現，在你的src/main/java 裏已經生成裏對應的Java類

4. 依賴Java版本的ProtoBuf支持庫

這裏只舉一個用Gradle使用依賴的栗子

implementation 'com.google.protobuf:protobuf-java:3.9.1'

5. 將Java對象轉爲ProtoBuf數據

Message.Person.Phone.Builder phoneBuilder = Message.Person.Phone.newBuilder();
Message.Person.Phone phone1 = phoneBuilder
        .setNumber("100860")
        .setType(Message.Person.PhoneType.HOME)
        .build();
Message.Person.Phone phone2 = phoneBuilder
        .setNumber("100100")
        .setType(Message.Person.PhoneType.MOBILE)
        .build();
Message.Person.Builder personBuilder = Message.Person.newBuilder();
personBuilder.setId(1994);
personBuilder.setName("XIAOLEI");
personBuilder.addPhone(phone1);
personBuilder.addPhone(phone2);

Message.Person person = personBuilder.build();
long old = System.currentTimeMillis();
byte[] buff = person.toByteArray();
System.out.println("ProtoBuf 編碼耗時：" + (System.currentTimeMillis() - old));
System.out.println(Arrays.toString(buff));
System.out.println("ProtoBuf 數據長度:" + buff.length);

6. 將ProtoBuf數據，轉換回Java對象

System.out.println("-開始解碼-");
old = System.currentTimeMillis();
Message.Person personOut = Message.Person.parseFrom(buff);
System.out.println("ProtoBuf 解碼耗時：" + (System.currentTimeMillis() - old));
System.out.printf("Id:%d, Name:%s\n", personOut.getId(), personOut.getName());
List<Message.Person.Phone> phoneList = personOut.getPhoneList();
for (Message.Person.Phone phone : phoneList)
{
    System.out.printf("手機號:%s (%s)\n", phone.getNumber(), phone.getType());
}

比較

爲了能體現ProtoBuf的優點，我寫了一樣結構體的Java類，而且將Java對象轉換成JSON數據，來與ProtoBuf進行比較。JSON編譯庫使用Google提供的GSON庫，JSON的部分代碼就不貼出來了，直接展現結果

比較結果結果

• 運行 1 次

【 JSON 開始編碼 】
JSON 編碼1次，耗時：22ms
JSON 數據長度:106
-開始解碼-
JSON 解碼1次，耗時：1ms

【 ProtoBuf 開始編碼 】
ProtoBuf 編碼1次,耗時：32ms
ProtoBuf 數據長度:34
-開始解碼-
ProtoBuf 解碼1次,耗時：3ms

• 運行 10 次

【 JSON 開始編碼 】
JSON 編碼10次，耗時：22ms
JSON 數據長度:106
-開始解碼-
JSON 解碼10次，耗時：4ms

【 ProtoBuf 開始編碼 】
ProtoBuf 編碼10次,耗時：29ms
ProtoBuf 數據長度:34
-開始解碼-
ProtoBuf 解碼10次,耗時：3ms

• 運行 100 次

【 JSON 開始編碼 】
JSON 編碼100次，耗時：32ms
JSON 數據長度:106
-開始解碼-
JSON 解碼100次，耗時：8ms

【 ProtoBuf 開始編碼 】
ProtoBuf 編碼100次,耗時：31ms
ProtoBuf 數據長度:34
-開始解碼-
ProtoBuf 解碼100次,耗時：4ms

• 運行 1000 次

【 JSON 開始編碼 】
JSON 編碼1000次，耗時：39ms
JSON 數據長度:106
-開始解碼-
JSON 解碼1000次，耗時：21ms

【 ProtoBuf 開始編碼 】
ProtoBuf 編碼1000次,耗時：37ms
ProtoBuf 數據長度:34
-開始解碼-
ProtoBuf 解碼1000次,耗時：8ms

• 運行 1萬 次

【 JSON 開始編碼 】
JSON 編碼10000次，耗時：126ms
JSON 數據長度:106
-開始解碼-
JSON 解碼10000次，耗時：93ms

【 ProtoBuf 開始編碼 】
ProtoBuf 編碼10000次,耗時：49ms
ProtoBuf 數據長度:34
-開始解碼-
ProtoBuf 解碼10000次,耗時：23ms

• 運行 10萬 次

【 JSON 開始編碼 】
JSON 編碼100000次，耗時：248ms
JSON 數據長度:106
-開始解碼-
JSON 解碼100000次，耗時：180ms

【 ProtoBuf 開始編碼 】
ProtoBuf 編碼100000次,耗時：51ms
ProtoBuf 數據長度:34
-開始解碼-
ProtoBuf 解碼100000次,耗時：58ms

總結

編解碼性能

上述栗子只是簡單的採樣，實際上據個人實驗發現

• 次數在1千如下，ProtoBuf 的編碼與解碼性能，都與JSON不相上下，甚至還有比JSON差的趨勢。
• 次數在2千以上，ProtoBuf的編碼解碼性能，都比JSON高出不少。
• 次數在10萬以上，ProtoBuf的編解碼性能就很明顯了，遠遠高出JSON的性能。

內存佔用

ProtoBuf的內存34，而JSON到達106 ，ProtoBuf的內存佔用只有JSON的1/3.

結尾

其實此次實驗有不少可待優化的地方，就算是這種粗略的測試，也能看出來ProtoBuf的優點。

兼容

新增字段

• 在proto文件中新增 nickname 字段
• 生成Java文件
• 用老proto字節數組數據，轉換成對象

Id:1994, Name:XIAOLEI
手機號:100860 (HOME)
手機號:100100 (MOBILE)
getNickname=

結果，是能夠轉換成功。

刪除字段

• 在proto文件中刪除 name 字段
• 生成Java文件
• 用老proto字節數組數據，轉換成對象

Id:1994, Name:null
手機號:100860 (HOME)
手機號:100100 (MOBILE)

結果，是能夠轉換成功。

END