Python 轉化成 PB 格式數據

1、概述

Protocol Buffers 是 Google 公司開發的一種輕便高效的結構化數據存儲格式，能夠用於結構化數據串行化，或者說序列化。它很適合作數據存儲或 RPC 數據交換格式。可用於通信協議、數據存儲等領域的語言無關、平臺無關、可擴展的序列化結構數據格式。

Protocol Buffers 簡稱爲 protobuf 或 pb，下面是使用 python 解析 pb。

2、安裝

1. 下載目標語言的編譯器：下載地址
2. 安裝：

$ ./configure  
$ make  
$ sudo make install

1. 驗證安裝：protoc --version，顯示當前版本：libprotoc x.x.x
2. 安裝 Python 的 protobuf 庫：pip install protobuf

3、使用

3.1 編譯 proto 文件

Protobuf 語義清晰，無需相似 XML 解析器的東西（由於 Protobuf 編譯器會將 .proto 文件編譯生成對應的數據訪問類以對 Protobuf 數據進行序列化、反序列化操做）。

protoc --python_out=./ ./文件名.proto

這時會在當前目錄生成一個與文件名同名的目錄，該目錄下會有一個 .py 文件。這個文件會用做模塊、解析規則去解析 pb 的源數據。

3.2 解析 pb 的數據

from test_pb import Test # 從剛纔編譯出來的 py 文件中 import 解析的類
message = Test()
with open('test.pb', 'rb') as fb:
    pb_content = fb.read() # 若是文件很大，則要分批讀取
    # pb_content 是二進制的pb數據，若是是文件，則須要用 open 方法讀取數據
    message.ParseFromString(pd_content)
print message

3.3 寫入數據

from test_pb import Test # 從剛纔編譯出來的 py 文件中 import 解析的類
message = Test()
message.name = 'hello world' # 賦值
with open('test.pb', 'wb') as fb:
    # 序列化，寫入文件
    fb.write(person.SerializeToString())

3.4 probuf 轉 dict

當 probuf 的數據包含中文時，解析後對於閱讀十分不友好。同時若是想要把 probuf 對象轉化成 dict 進行後續操做的話。能夠試試第三方庫：protobuf-to-dict，這個庫能夠很方便的把 probuf 的數據轉化成 dict。示例代碼以下：

from protobuf_to_dict import protobuf_to_dict
my_message = MyMessage()
# pb_my_message is a protobuf string
my_message.ParseFromString(pb_my_message)
protobuf_to_dict(my_message)
# 輸出：{'message': 'Hello'}

3.5 更多

這篇文章只是使用 python 簡單的解析、序列化。更多細節以及原理推薦閱讀Google Protocol Buffer 的使用和原理

4、錯誤

• google.protobuf.message.DecodeError: Truncated message.：首先要保證 pb source 爲二進制的數據，不然會出現各類非預期錯誤

5、參考

• ProtoBuf 與 Python 結合使用初步