caffe protobuf介紹

caffe protobuf介紹

caffe中的參數管理是經過google於2008年開源的一款很是優秀的序列化反序列化工具——prtotocol buffer實現的。

 

1、Protobuf消息定義

 

      消息由至少一個字段組合而成，相似於C語言中的結構。每一個字段都有必定的格式。

      字段格式：限定修飾符① | 數據類型② | 字段名稱③ | = | 字段編碼值④ | [字段默認值⑤]

 

（1）限定修飾符包含 required\optional\repeated

 

     Required: 表示是一個必須字段，必須相對於發送方，在發送消息以前必須設置該字段的值，對於接收方，必須可以識別該字段的意思。發送以前沒有設置required字段或者沒法識別required字段都會引起編解碼異常，致使消息被丟棄。

      Optional：表示是一個可選字段，可選對於發送方，在發送消息時，能夠有選擇性的設置或者不設置該字段的值。對於接收方，若是可以識別可選字段就進行相應的處理，若是沒法識別，則忽略該字段，消息中的其它字段正常處理。---由於optional字段的特性，不少接口在升級版本中都把後來添加的字段都統一的設置爲optional字段，這樣老的版本無需升級程序也能夠正常的與新的軟件進行通訊，只不過新的字段沒法識別而已，由於並非每一個節點都須要新的功能，所以能夠作到按需升級和平滑過渡。

      Repeated：表示該字段能夠包含0~N個元素。其特性和optional同樣，可是每一次能夠包含多個值。能夠看做是在傳遞一個數組的值。

（2）數據類型

Protobuf定義了一套基本數據類型。幾乎均可以映射到C++\Java等語言的基礎數據類型.

 

N 表示打包的字節並非固定。而是根據數據的大小或者長度。

例如int32，若是數值比較小，在0~127時，使用一個字節打包。

關於枚舉的打包方式和uint32相同。

關於message，相似於C語言中的結構包含另一個結構做爲數據成員同樣。

關於 fixed32 和int32的區別。fixed32的打包效率比int32的效率高，可是使用的空間通常比int32多。所以一個屬於時間效率高，一個屬於空間效率高。根據項目的實際狀況，通常選擇fixed32，若是遇到對傳輸數據量要求比較苛刻的環境，能夠選擇int32.

（3）字段名稱

字段名稱的命名與C、C++、Java等語言的變量命名方式幾乎是相同的。

protobuf建議字段的命名採用如下劃線分割的駝峯式。例如 first_name 而不是firstName.

（4）字段編碼值

     有了該值，通訊雙方纔能互相識別對方的字段。固然相同的編碼值，其限定修飾符和數據類型必須相同。編碼值的取值範圍爲 1~2^32（4294967296）。其中 1~15的編碼時間和空間效率都是最高的，編碼值越大，其編碼的時間和空間效率就越低（相對於1-15），固然通常狀況下相鄰的2個值編碼效率的是相同的，除非2個值剛好實在4字節，12字節，20字節等的臨界區。好比15和16.1900~2000編碼值爲Google protobuf 系統內部保留值，建議不要在本身的項目中使用。

protobuf 還建議把常常要傳遞的值把其字段編碼設置爲1-15之間的值。消息中的字段的編碼值無需連續，只要是合法的，而且不能在同一個消息中有字段包含相同的編碼值。

建議：項目投入運營之後涉及到版本升級時的新增消息字段所有使用optional或者repeated，儘可能不實用required。若是

（4）默認值

 

當在傳遞數據時，對於required數據類型，若是用戶沒有設置值，則使用默認值傳遞到對端。當接受數據是，對於optional字段，若是沒有接收到optional字段，則設置爲默認值。

 2、注意事項

（1）關於import

protobuf 接口文件能夠像C語言的h文件一個，分離爲多個，在須要的時候經過 import導入須要對文件。其行爲和C語言的#include或者java的import的行爲大體相同。

（2）關於package

避免名稱衝突，能夠給每一個文件指定一個package名稱，對於java解析爲java中的包。對於C++則解析爲名稱空間。

（3）關於message

支持嵌套消息，消息能夠包含另外一個消息做爲其字段。也能夠在消息內定義一個新的消息。

（4）關於enum

枚舉的定義和C++相同，可是有一些限制。

枚舉值必須大於等於0的整數。

使用分號(;)分隔枚舉變量而不是C++語言中的逗號(,)

eg.

enum VoipProtocol 

{

    H323 = 1;

    SIP  = 2;

    MGCP = 3;

    H248 = 4;

}

使用了required，須要全網統一升級，若是使用optional或者repeated能夠平滑升級。

3、安裝

下載地址：https://protobuf.googlecode.com/svn/rc/protobuf-2.6.0.tar.gz

 運行：（1）./autogen.sh；

       （2）./configure --prefix=/usr （這樣能夠不用手動添加環境變量）
       （3）make
       （4） make check
       （5）make install

4、例子分析

從例子入手是學習一門新工具的最佳方法。下面咱們經過一個簡單的例子看看咱們如何用protobuf的C++接口序列化反序列化一個結構體。就以protobuf自帶的例子（protobuf-master/examples下面）。

(1)編輯您將要序列化的結構體描述文件.proto

protobuf使用前，先編寫proto文件，這是描述咱們須要配置參數的數據結構。這個例子裏面的proto以下：

 

<span style="font-family:KaiTi_GB2312;font-size:18px;"><span style="font-family:KaiTi_GB2312;font-size:18px;">// See README.txt for information and build instructions.

package tutorial;

option java_package = "com.example.tutorial";
option java_outer_classname = "AddressBookProtos";

message Person {
  required string name = 1;
  required int32 id = 2;        // Unique ID number for this person.
  optional string email = 3;

  enum PhoneType {
    MOBILE = 0;
    HOME = 1;
    WORK = 2;
  }

  message PhoneNumber {
    required string number = 1;
    optional PhoneType type = 2 [default = HOME];
  }

  repeated PhoneNumber phone = 4;
}

// Our address book file is just one of these.
message AddressBook {
  repeated Person person = 1;
}</span></span>

前幾行是定義包的，能夠忽略。

 

message Person{...}定義了一個須要傳輸的參數結構體，可見包括這麼幾個單元：name（string類型）、id（int32類型）、email（string類型）、phone（PhoneNumber類型，嵌套在Person內的類）。前面標記爲「required」是必須有值的，而「optional「則爲可選項，」repeated「表示後面單元爲相同類型的一組向量。

(2)用protoc工具「編譯」Hello.proto

protoc工具使用的通常格式是：

protoc -I=$SRC_DIR --cpp_out=$DST_DIR $SRC_DIR/xxx.proto

其中SRC_DIR是proto文件所在的目錄，DST_DIR是編譯proto文件後生成的結構體處理文件的目

運行：protoc --cpp_out=.  addressbook.proto  ；運行後生成了兩個文件：addressbook.pb.cc 和addressbook.pb.h。

（3）測試

   咱們能夠本身編寫函數：序列化（add_person.cc）/反序列化(list_people.cc)經過自動生成的接口實現

運行：make cpp;  行後生成了兩個文件：add_person_cpp  和list_people_cpp

運行：./add_person_cpp wq;會出現如下須要用戶輸入的信息，同時生成一個wq文件

Enter person ID number: 123456
Enter name: wq
Enter email address (blank for none): 123456@163.com
Enter a phone number (or leave blank to finish): 12346789
Is this a mobile, home, or work phone? mobile
Enter a phone number (or leave blank to finish):回車

 

運行：./add_person_cpp wq;會出現以的信息

Person ID: 123456
  Name: wq
  E-mail address: 123456@163.com
  Mobile phone #: 12346789

     可見只須要調用addressbook.pb.h中聲明的tutorial::AddressBook類、Person類中的接口（add_person(), add_phone(), set_number(), set_email()等）就能操做相應的參數，最後將內存中的參數序列化爲文件只須要執行SerializeToOstream()，相應的讀取參數文件的操做爲ParseFromIstream()。這樣以來能夠不用本身編寫函數操做這些參數的函數，能夠減小不少的工做量。