golang使用protobuf

爲何要使用protobuf

最近的項目中，一直使用Json作數據傳輸。Json用起來的確很方便。但相對於protobuf數據量更大些。作一個移動端應用，爲用戶省點流量仍是頗有必要的。正好也能夠學習一下protobuf的使用

跟Json相比protobuf性能更高，更加規範

• 編解碼速度快，數據體積小

• 使用統一的規範，不用再擔憂大小寫不一樣致使解析失敗等蛋疼的問題了

但也失去了一些便利性

• 改動協議字段，須要從新生成文件。

• 數據沒有可讀性

安裝

在go中使用protobuf，有兩個可選用的包goprotobuf（go官方出品）和gogoprotobuf。
gogoprotobuf徹底兼容google protobuf，它生成的代碼質量和編解碼性能均比goprotobuf高一些

安裝protoc

首先去https://github.com/google/pro... 上下載protobuf的編譯器protoc，windows上能夠直接下到exe文件(linux則須要編譯)，最後將下載好的可執行文件拷貝到$GOPATH的bin目錄下($GOPATH/bin目錄最好添加到系統環境變量裏)

安裝protobuf庫文件

go get github.com/golang/protobuf/proto

goprotobuf

安裝插件

go get github.com/golang/protobuf/protoc-gen-go

生成go文件

protoc --go_out=. *.proto

gogoprotobuf

安裝插件

gogoprotobuf有兩個插件可使用

• protoc-gen-gogo：和protoc-gen-go生成的文件差很少，性能也幾乎同樣(稍微快一點點)

• protoc-gen-gofast：生成的文件更復雜，性能也更高(快5-7倍)

//gogo
go get github.com/gogo/protobuf/protoc-gen-gogo

//gofast
go get github.com/gogo/protobuf/protoc-gen-gofast

安裝gogoprotobuf庫文件

go get github.com/gogo/protobuf/proto
go get github.com/gogo/protobuf/gogoproto  //這個不裝也不要緊

生成go文件

//gogo
protoc --gogo_out=. *.proto

//gofast
protoc --gofast_out=. *.proto

性能測試

這裏只是簡單的用go test測試了一下

//goprotobuf
"編碼"：447ns/op
"解碼"：422ns/op

//gogoprotobuf-go
"編碼"：433ns/op
"解碼"：427ns/op

//gogoprotobuf-fast
"編碼"：112ns/op
"解碼"：112ns/op

go_protobuf的簡單使用

test.proto

syntax = "proto3";  //指定版本，必需要寫（proto三、proto2）  
package proto;

enum FOO 
{ 
    X = 0; 
};

//message是固定的。UserInfo是類名，能夠隨意指定，符合規範便可
message UserInfo{
    string message = 1;   //消息
    int32 length = 2;    //消息大小
    int32 cnt = 3;      //消息計數
}

client_protobuf.go

package main

import (
    "bufio"
    "fmt"
    "net"
    "os"
    stProto "proto"
    "time"

    //protobuf編解碼庫,下面兩個庫是相互兼容的，可使用其中任意一個
    "github.com/golang/protobuf/proto"
    //"github.com/gogo/protobuf/proto"
)

func main() {
    strIP := "localhost:6600"
    var conn net.Conn
    var err error

    //鏈接服務器
    for conn, err = net.Dial("tcp", strIP); err != nil; conn, err = net.Dial("tcp", strIP) {
        fmt.Println("connect", strIP, "fail")
        time.Sleep(time.Second)
        fmt.Println("reconnect...")
    }
    fmt.Println("connect", strIP, "success")
    defer conn.Close()

    //發送消息
    cnt := 0
    sender := bufio.NewScanner(os.Stdin)
    for sender.Scan() {
        cnt++
        stSend := &stProto.UserInfo{
            Message: sender.Text(),
            Length:  *proto.Int(len(sender.Text())),
            Cnt:     *proto.Int(cnt),
        }

        //protobuf編碼
        pData, err := proto.Marshal(stSend)
        if err != nil {
            panic(err)
        }

        //發送
        conn.Write(pData)
        if sender.Text() == "stop" {
            return
        }
    }
}

server_protobuf.go

package main

import (
    "fmt"
    "net"
    "os"
    stProto "proto"

    //protobuf編解碼庫,下面兩個庫是相互兼容的，可使用其中任意一個
    "github.com/golang/protobuf/proto"
    //"github.com/gogo/protobuf/proto"
)

func main() {
    //監聽
    listener, err := net.Listen("tcp", "localhost:6600")
    if err != nil {
        panic(err)
    }

    for {
        conn, err := listener.Accept()
        if err != nil {
            panic(err)
        }
        fmt.Println("new connect", conn.RemoteAddr())
        go readMessage(conn)
    }
}

//接收消息
func readMessage(conn net.Conn) {
    defer conn.Close()
    buf := make([]byte, 4096, 4096)
    for {
        //讀消息
        cnt, err := conn.Read(buf)
        if err != nil {
            panic(err)
        }

        stReceive := &stProto.UserInfo{}
        pData := buf[:cnt]

        //protobuf解碼
        err = proto.Unmarshal(pData, stReceive)
        if err != nil {
            panic(err)
        }

        fmt.Println("receive", conn.RemoteAddr(), stReceive)
        if stReceive.Message == "stop" {
            os.Exit(1)
        }
    }
}