Protobuffer和json深度對比

時間 2019-11-12

原文原文鏈接

JSON相信你們都知道是什麼東西，若是不知道，那可就真的OUT了，GOOGLE一下去。這裏就不介紹啥的了。javascript

Protobuffer你們估計就不多據說了，但若是說到是GOOGLE搞的，相信你們都會有興趣去試一下，畢竟GOOGLE出口，多屬精品。java

Protobuffer是一個相似JSON的一個傳輸協議，其實也不能說是協議，只是一個數據傳輸的東西罷了。python

那它跟JSON有什麼區別呢？json

跨語言，這是它的一個優勢。它自帶了一個編譯器，protoc，只須要用它進行編譯，能夠編譯成JAVA、python、C++代碼，暫時只有這三個，其餘就暫時不要想了，而後就能夠直接使用，不須要再寫任何其餘代碼。連解析的那些都已經自帶有的。JSON固然也是跨語言的，但這個跨語言是創建在編寫代碼的基礎上。windows

若是想再深刻了解的，能夠去看看：服務器

https://developers.google.com/protocol-buffers/docs/overviewapp

好了，廢話很少說，咱們直接來看看，爲何咱們須要對比protobuffer（下面簡稱GPB）和JSON。maven

一、JSON由於有必定的格式，而且是以字符存在的，在數據量上還有能夠壓縮的空間。而GPB上大數據量時，空間比JSON小不少，等一下的例子咱們能夠看到。測試

二、JSON各個庫之間的效率相差比較大，jackson庫和GSON就大概有5-10的差距（這個只作過一次測試，若有誤，請你們輕拍）。而GPB只須要一個，沒有所謂的多個庫的區別。固然這個點只是弄出來湊數的，能夠忽略不計哈。大數據

Talk is cheap,Just show me the code。

在程序界，代碼永遠是王道，下面就直接來代碼吧。

上代碼前，你們要先下載protobuffer，在這裏：

https://code.google.com/p/protobuf/downloads/list

注意，須要下載兩個，一個是complier，另一個是source code，相信這個難不倒你們了，這裏略過。

一、首先，GPB是須要有一個相似類定義的文件，叫proto文件。

咱們以學生和老師的例子來進行一個例子：

咱們有如下兩個文件：student.proto

Java代碼

option java_package = "com.shun";
option java_outer_classname = "StudentProto";
message Student {
required int32 id = 1;
optional string name = 2;
optional int32 age = 3;
}

teacher.proto

Java代碼

import "student.proto";
option java_package = "com.shun";
option java_outer_classname = "TeacherProto";
message Teacher {
required int32 id = 1;
optional string name = 2;
repeated Student student_list = 3;
}

這裏咱們遇到了一些比較奇怪的東西：

import,int32,repated,required,optional,option等

一個個來吧：

1）import表示引入其餘的proto文件

2）required,optional表示字段是否可選，這個決定了該字段有無值的狀況下protobuffer會進行什麼處理。若是標誌了required，但當處理時，該字段沒有進行傳值，則會報錯;若是標誌了optional，不傳值則不會有什麼問題。

3）repeated相信應該都看得懂了，就是是否重複，跟JAVA裏面的list相似

4）message就是至關於class了

5）option表示選項，其中的java_package表示包名，即生成JAVA代碼時使用的包名，java_outer_classname即爲類名，注意這個類名不能跟下面的message中的類名相同。

至於還有其餘的選項和相關類型的，請參觀官方文檔。

二、有了這幾個文件，咱們能怎麼樣呢？

記得上面下載的編譯器了吧，解壓出來，咱們獲得一個protoc.exe，這固然是windows下的，我沒弄其餘系統的，有興趣的同窗去折騰下羅。

加到path（加不加能夠隨便，只是方不方便而已），而後就能夠經過上面的文件生成咱們須要的類文件了。

protoc --java_out=存放源代碼的路徑 --proto_path=proto文件的路徑 proto具體文件

--proto_path指定的是proto文件的文件夾路徑，並非單個文件，主要是爲了import文件查找使用的，能夠省略

如我須要把源代碼放在D:\protobufferVsJson\src，而個人proto文件存放在D:\protoFiles

那麼個人編譯命令就是：

protoc --java_out=D:\protobufferVsJson\src

D:\protoFiles\teacher.proto D:\protoFiles\student.proto

注意，這裏最後的文件，咱們須要指定須要編譯的全部文件

編譯後能夠看到生成的文件。

代碼就不貼出來了，太多了。你們能夠私下看看，代碼裏面有一大堆Builder，相信一看就知道是建造者模式了。

這時能夠把代碼貼到你的項目中了，固然，錯誤一堆了。

記得咱們前面下載的源代碼嗎？解壓它吧，不要手軟。而後找到src/main/java/複製其中的一堆到你的項目，固然，你也能夠ant或者maven編譯，但這兩個東西我都不熟，就不獻醜了，我仍是習慣直接複製到項目中。

代碼出錯，哈哈，正常。不知道爲什麼，GOOGLE非要留下這麼個坑給咱們。

翻回到protobuffer目錄下的\java看到有個readme.txt了吧，找到一句：

看來看去，感受這個代碼會有點奇怪的，好像錯錯的感受，反正我是沒按那個執行，個人命令是:

Java代碼

protoc --java_out=仍是上面的放代碼的地方 proto文件的路徑（這裏是descriptor.proto文件的路徑）

執行後，咱們能夠看到代碼中的錯誤木有了。

三、接下來固然就是測試了。

咱們先進行GPB寫入測試：

Java代碼

package com.shun.test;
import java.io.FileOutputStream;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;
import com.shun.StudentProto.Student;
import com.shun.TeacherProto.Teacher;
public class ProtoWriteTest {
public static void main(String[] args) throws IOException {
Student.Builder stuBuilder = Student.newBuilder();
stuBuilder.setAge(25);
stuBuilder.setId(11);
stuBuilder.setName("shun");
//構造List
List<Student> stuBuilderList = new ArrayList<Student>();
stuBuilderList.add(stuBuilder.build());
Teacher.Builder teaBuilder = Teacher.newBuilder();
teaBuilder.setId(1);
teaBuilder.setName("testTea");
teaBuilder.addAllStudentList(stuBuilderList);
//把gpb寫入到文件
FileOutputStream fos = new FileOutputStream("C:\\Users\\shun\\Desktop\\test\\test.protoout");
teaBuilder.build().writeTo(fos);
fos.close();
}
}

咱們去看看文件，如無心外，應該是生成了的。

生成了以後，咱們確定要讀回它的。

Java代碼

package com.shun.test;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.IOException;
import com.shun.StudentProto.Student;
import com.shun.TeacherProto.Teacher;
public class ProtoReadTest {
public static void main(String[] args) throws FileNotFoundException, IOException {
Teacher teacher = Teacher.parseFrom(new FileInputStream("C:\\Users\\shun\\Desktop\\test\\test.protoout"));
System.out.println("Teacher ID:" + teacher.getId() + ",Name:" + teacher.getName());
for (Student stu:teacher.getStudentListList()) {
System.out.println("Student ID:" + stu.getId() + ",Name:" + stu.getName() + ",Age:" + stu.getAge());
}
}
}

代碼很簡單，由於GPB生成的代碼都幫咱們完成了。

上面知道基本的用法了，咱們重點來關注GPB跟JSON生成文件大小的區別，JSON的詳細代碼我這裏就不貼了，以後會貼出示例，你們有興趣能夠下載。

這裏咱們用Gson來解析JSON，下面只給出對象轉換成JSON後寫出文件的代碼：

兩個類Student和Teacher的基本定義就不弄了，你們隨意就行，代碼以下：

Java代碼

package com.shun.test;
import java.io.FileWriter;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;
import com.google.gson.Gson;
import com.shun.Student;
import com.shun.Teacher;
public class GsonWriteTest {
public static void main(String[] args) throws IOException {
Student stu = new Student();
stu.setAge(25);
stu.setId(22);
stu.setName("shun");
List<Student> stuList = new ArrayList<Student>();
stuList.add(stu);
Teacher teacher = new Teacher();
teacher.setId(22);
teacher.setName("shun");
teacher.setStuList(stuList);
String result = new Gson().toJson(teacher);
FileWriter fw = new FileWriter("C:\\Users\\shun\\Desktop\\test\\json");
fw.write(result);
fw.close();
}
}

接下來正式進入咱們的真正測試代碼了，前面咱們只是在列表中放入一個對象，接下來，咱們依次測試100,1000,10000,100000,1000000,5000000這幾個數量的GPB和JSON生成的文件大小。

改進一下以前的GPB代碼，讓它生成不一樣數量的列表，再生成文件：

Java代碼

package com.shun.test;
import java.io.FileOutputStream;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;
import com.shun.StudentProto.Student;
import com.shun.TeacherProto.Teacher;
public class ProtoWriteTest {
public static final int SIZE = 100;
public static void main(String[] args) throws IOException {
//構造List
List<Student> stuBuilderList = new ArrayList<Student>();
for (int i = 0; i < SIZE; i ++) {
Student.Builder stuBuilder = Student.newBuilder();
stuBuilder.setAge(25);
stuBuilder.setId(11);
stuBuilder.setName("shun");
stuBuilderList.add(stuBuilder.build());
}
Teacher.Builder teaBuilder = Teacher.newBuilder();
teaBuilder.setId(1);
teaBuilder.setName("testTea");
teaBuilder.addAllStudentList(stuBuilderList);
//把gpb寫入到文件
FileOutputStream fos = new FileOutputStream("C:\\Users\\shun\\Desktop\\test\\proto-" + SIZE);
teaBuilder.build().writeTo(fos);
fos.close();
}
}