你還在手撕微服務？快試試 go-zero 的微服務自動生成

0. 爲何說作好微服務很難？

要想作好微服務，咱們須要理解和掌握的知識點很是多，從幾個維度上來講：

• 基本功能層面

  1. 併發控制&限流，避免服務被突發流量擊垮
  2. 服務註冊與服務發現，確保可以動態偵測增減的節點
  3. 負載均衡，須要根據節點承受能力分發流量
  4. 超時控制，避免對已超時請求作無用功
  5. 熔斷設計，快速失敗，保障故障節點的恢復能力

• 高階功能層面

  1. 請求認證，確保每一個用戶只能訪問本身的數據
  2. 鏈路追蹤，用於理解整個系統和快速定位特定請求的問題
  3. 日誌，用於數據收集和問題定位
  4. 可觀測性，沒有度量就沒有優化

對於其中每一點，咱們都須要用很長的篇幅來說述其原理和實現，那麼對咱們後端開發者來講，要想把這些知識點都掌握並落實到業務系統裏，難度是很是大的，不過咱們能夠依賴已經被大流量驗證過的框架體系。go-zero微服務框架就是爲此而生。

另外，咱們始終秉承工具大於約定和文檔的理念。咱們但願儘量減小開發人員的心智負擔，把精力都投入到產生業務價值的代碼上，減小重複代碼的編寫，因此咱們開發了goctl工具。

下面我經過書店服務來演示經過go-zero快速的建立微服務的流程，走完一遍，你就會發現：原來編寫微服務如此簡單！

1. 書店服務示例簡介

爲了教程簡單，咱們用書店服務作示例，而且只實現其中的增長書目和檢查價格功能。

寫此書店服務是爲了從總體上演示go-zero構建完整微服務的過程，實現細節儘量簡化了。

2. 書店微服務架構圖

3. goctl各層代碼生成一覽

全部綠色背景的功能模塊是自動生成的，按需激活，紅色模塊是須要本身寫的，也就是增長下依賴，編寫業務特有邏輯，各層示意圖分別以下：

• API Gateway

• RPC

• model

下面咱們來一塊兒完整走一遍快速構建微服務的流程，Let’s Go!🏃‍♂️

4. 準備工做

• 安裝etcd, mysql, redis

• 安裝goctl工具

  GO111MODULE=on GOPROXY=https://goproxy.cn/,direct go get -u github.com/tal-tech/go-zero/tools/goctl

• 建立工做目錄bookstore

• 在bookstore目錄下執行go mod init bookstore初始化go.mod

5. 編寫API Gateway代碼

• 在bookstore/api目錄下經過goctl生成api/bookstore.api：

  goctl api -o bookstore.api

  編輯bookstore.api，爲了簡潔，去除了文件開頭的info，代碼以下：

  type (
      addReq struct {
          book  string `form:"book"`
          price int64  `form:"price"`
      }
  
      addResp struct {
          ok bool `json:"ok"`
      }
  )
  
  type (
      checkReq struct {
          book string `form:"book"`
      }
  
      checkResp struct {
          found bool  `json:"found"`
          price int64 `json:"price"`
      }
  )
  
  service bookstore-api {
      @server(
          handler: AddHandler
      )
      get /add(addReq) returns(addResp)
  
      @server(
          handler: CheckHandler
      )
      get /check(checkReq) returns(checkResp)
  }

  type用法和go一致，service用來定義get/post/head/delete等api請求，解釋以下：

  • service bookstore-api {這一行定義了service名字
  • @server部分用來定義server端用到的屬性
  • handler定義了服務端handler名字
  • get /add(addReq) returns(addResp)定義了get方法的路由、請求參數、返回參數等

• 使用goctl生成API Gateway代碼

  goctl api go -api bookstore.api -dir .

  生成的文件結構以下：

  api
  ├── bookstore.api                  // api定義
  ├── bookstore.go                   // main入口定義
  ├── etc
  │   └── bookstore-api.yaml         // 配置文件
  └── internal
      ├── config
      │   └── config.go              // 定義配置
      ├── handler
      │   ├── addhandler.go          // 實現addHandler
      │   ├── checkhandler.go        // 實現checkHandler
      │   └── routes.go              // 定義路由處理
      ├── logic
      │   ├── addlogic.go            // 實現AddLogic
      │   └── checklogic.go          // 實現CheckLogic
      ├── svc
      │   └── servicecontext.go      // 定義ServiceContext
      └── types
          └── types.go               // 定義請求、返回結構體

• 啓動API Gateway服務，默認偵聽在8888端口

  go run bookstore.go -f etc/bookstore-api.yaml

• 測試API Gateway服務

  curl -i "http://localhost:8888/check?book=go-zero"

  返回以下：

  HTTP/1.1 200 OK
  Content-Type: application/json
  Date: Thu, 03 Sep 2020 06:46:18 GMT
  Content-Length: 25
  
  {"found":false,"price":0}

  能夠看到咱們API Gateway其實啥也沒幹，就返回了個空值，接下來咱們會在rpc服務裏實現業務邏輯

• 能夠修改internal/svc/servicecontext.go來傳遞服務依賴（若是須要）

• 實現邏輯能夠修改internal/logic下的對應文件

• 能夠經過goctl生成各類客戶端語言的api調用代碼

• 到這裏，你已經能夠經過goctl生成客戶端代碼給客戶端同窗並行開發了，支持多種語言，詳見文檔

6. 編寫add rpc服務

• 在rpc/add目錄下編寫add.proto文件

  能夠經過命令生成proto文件模板

  goctl rpc template -o add.proto

  修改後文件內容以下：

  syntax = "proto3";
  
  package add;
  
  message addReq {
      string book = 1;
      int64 price = 2;
  }
  
  message addResp {
      bool ok = 1;
  }
  
  service adder {
      rpc add(addReq) returns(addResp);
  }

• 用goctl生成rpc代碼，在rpc/add目錄下執行命令

  goctl rpc proto -src add.proto

  文件結構以下：

  rpc/add
  ├── add.go                      // rpc服務main函數
  ├── add.proto                   // rpc接口定義
  ├── adder
  │   ├── adder.go                // 提供了外部調用方法，無需修改
  │   ├── adder_mock.go           // mock方法，測試用
  │   └── types.go                // request/response結構體定義
  ├── etc
  │   └── add.yaml                // 配置文件
  ├── internal
  │   ├── config
  │   │   └── config.go           // 配置定義
  │   ├── logic
  │   │   └── addlogic.go         // add業務邏輯在這裏實現
  │   ├── server
  │   │   └── adderserver.go      // 調用入口, 不須要修改
  │   └── svc
  │       └── servicecontext.go   // 定義ServiceContext，傳遞依賴
  └── pb
      └── add.pb.go

直接能夠運行，以下：

$ go run add.go -f etc/add.yaml
  Starting rpc server at 127.0.0.1:8080...

etc/add.yaml文件裏能夠修改偵聽端口等配置

7. 編寫check rpc服務

• 在rpc/check目錄下編寫check.proto文件

  能夠經過命令生成proto文件模板

  goctl rpc template -o check.proto

  修改後文件內容以下：

  syntax = "proto3";
  
  package check;
  
  message checkReq {
      string book = 1;
  }
  
  message checkResp {
      bool found = 1;
      int64 price = 2;
  }
  
  service checker {
      rpc check(checkReq) returns(checkResp);
  }

• 用goctl生成rpc代碼，在rpc/check目錄下執行命令

  goctl rpc proto -src check.proto

  文件結構以下：

  rpc/check
  ├── check.go                    // rpc服務main函數
  ├── check.proto                 // rpc接口定義
  ├── checker
  │   ├── checker.go              // 提供了外部調用方法，無需修改
  │   ├── checker_mock.go         // mock方法，測試用
  │   └── types.go                // request/response結構體定義
  ├── etc
  │   └── check.yaml              // 配置文件
  ├── internal
  │   ├── config
  │   │   └── config.go           // 配置定義
  │   ├── logic
  │   │   └── checklogic.go       // check業務邏輯在這裏實現
  │   ├── server
  │   │   └── checkerserver.go    // 調用入口, 不須要修改
  │   └── svc
  │       └── servicecontext.go   // 定義ServiceContext，傳遞依賴
  └── pb
      └── check.pb.go

  etc/check.yaml文件裏能夠修改偵聽端口等配置

  須要修改etc/check.yaml的端口爲8081，由於8080已經被add服務使用了，直接能夠運行，以下：

  $ go run check.go -f etc/check.yaml
  Starting rpc server at 127.0.0.1:8081...

8. 修改API Gateway代碼調用add/check rpc服務

• 修改配置文件bookstore-api.yaml，增長以下內容

  Add:
    Etcd:
      Hosts:
        - localhost:2379
      Key: add.rpc
  Check:
    Etcd:
      Hosts:
        - localhost:2379
      Key: check.rpc

  經過etcd自動去發現可用的add/check服務

• 修改internal/config/config.go以下，增長add/check服務依賴

  type Config struct {
      rest.RestConf
      Add   rpcx.RpcClientConf     // 手動代碼
      Check rpcx.RpcClientConf     // 手動代碼
  }

• 修改internal/svc/servicecontext.go，以下：

  type ServiceContext struct {
      Config  config.Config
      Adder   adder.Adder          // 手動代碼
      Checker checker.Checker      // 手動代碼
  }
  
  func NewServiceContext(c config.Config) *ServiceContext {
      return &ServiceContext{
          Config:  c,
          Adder:   adder.NewAdder(rpcx.MustNewClient(c.Add)),         // 手動代碼
          Checker: checker.NewChecker(rpcx.MustNewClient(c.Check)),   // 手動代碼
      }
  }

  經過ServiceContext在不一樣業務邏輯之間傳遞依賴

• 修改internal/logic/addlogic.go裏的Add方法，以下：

  func (l *AddLogic) Add(req types.AddReq) (*types.AddResp, error) {
      // 手動代碼開始
      resp, err := l.svcCtx.Adder.Add(l.ctx, &adder.AddReq{
          Book:  req.Book,
          Price: req.Price,
      })
      if err != nil {
          return nil, err
      }
  
      return &types.AddResp{
          Ok: resp.Ok,
      }, nil
      // 手動代碼結束
  }

  經過調用adder的Add方法實現添加圖書到bookstore系統

• 修改internal/logic/checklogic.go裏的Check方法，以下：

  func (l *CheckLogic) Check(req types.CheckReq) (*types.CheckResp, error) {
      // 手動代碼開始
      resp, err := l.svcCtx.Checker.Check(l.ctx, &checker.CheckReq{
          Book:  req.Book,
      })
      if err != nil {
          return nil, err
      }
  
      return &types.CheckResp{
          Found: resp.Found,
          Price: resp.Price,
      }, nil
      // 手動代碼結束
  }

  經過調用checker的Check方法實現從bookstore系統中查詢圖書的價格

9. 定義數據庫表結構，並生成CRUD+cache代碼

• bookstore下建立rpc/model目錄：mkdir -p rpc/model

• 在rpc/model目錄下編寫建立book表的sql文件book.sql，以下：

  CREATE TABLE `book`
  (
    `book` varchar(255) NOT NULL COMMENT 'book name',
    `price` int NOT NULL COMMENT 'book price',
    PRIMARY KEY(`book`)
  ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

• 建立DB和table

  create database gozero;

  source book.sql;

• 在rpc/model目錄下執行以下命令生成CRUD+cache代碼，-c表示使用redis cache

  goctl model mysql ddl -c -src book.sql -dir .

  也能夠用datasource命令代替ddl來指定數據庫連接直接從schema生成

  生成後的文件結構以下：

  rpc/model
  ├── bookstore.sql
  ├── bookstoremodel.go     // CRUD+cache代碼
  └── vars.go               // 定義常量和變量

10. 修改add/check rpc代碼調用crud+cache代碼

• 修改rpc/add/etc/add.yaml和rpc/check/etc/check.yaml，增長以下內容：

  DataSource: root:@tcp(localhost:3306)/gozero
  Table: book
  Cache:
    - Host: localhost:6379

  可使用多個redis做爲cache，支持redis單點或者redis集羣

• 修改rpc/add/internal/config.go和rpc/check/internal/config.go，以下：

  type Config struct {
      rpcx.RpcServerConf
      DataSource string             // 手動代碼
      Table      string             // 手動代碼
      Cache      cache.CacheConf    // 手動代碼
  }

  增長了mysql和redis cache配置

• 修改rpc/add/internal/svc/servicecontext.go和rpc/check/internal/svc/servicecontext.go，以下：

  type ServiceContext struct {
      c     config.Config
      Model *model.BookModel   // 手動代碼
  }
  
  func NewServiceContext(c config.Config) *ServiceContext {
      return &ServiceContext{
          c:             c,
          Model: model.NewBookModel(sqlx.NewMysql(c.DataSource), c.Cache, c.Table), // 手動代碼
      }
  }

• 修改rpc/add/internal/logic/addlogic.go，以下：

  func (l *AddLogic) Add(in *add.AddReq) (*add.AddResp, error) {
      // 手動代碼開始
      _, err := l.svcCtx.Model.Insert(model.Book{
          Book:  in.Book,
          Price: in.Price,
      })
      if err != nil {
          return nil, err
      }
  
      return &add.AddResp{
          Ok: true,
      }, nil
      // 手動代碼結束
  }

• 修改rpc/check/internal/logic/checklogic.go，以下：

  func (l *CheckLogic) Check(in *check.CheckReq) (*check.CheckResp, error) {
      // 手動代碼開始
      resp, err := l.svcCtx.Model.FindOne(in.Book)
      if err != nil {
          return nil, err
      }
  
      return &check.CheckResp{
          Found: true,
          Price: resp.Price,
      }, nil
      // 手動代碼結束
  }

  至此代碼修改完成，凡事手動修改的代碼我加了標註

11. 完整調用演示

• add api調用

  curl -i "http://localhost:8888/add?book=go-zero&price=10"

  返回以下：

  HTTP/1.1 200 OK
  Content-Type: application/json
  Date: Thu, 03 Sep 2020 09:42:13 GMT
  Content-Length: 11
  
  {"ok":true}

• check api調用

  curl -i "http://localhost:8888/check?book=go-zero"

  返回以下：

  HTTP/1.1 200 OK
  Content-Type: application/json
  Date: Thu, 03 Sep 2020 09:47:34 GMT
  Content-Length: 25
  
  {"found":true,"price":10}

12. Benchmark

由於寫入依賴於mysql的寫入速度，就至關於壓mysql了，因此壓測只測試了check接口，至關於從mysql裏讀取並利用緩存，爲了方便，直接壓這一本書，由於有緩存，多本書也是同樣的，對壓測結果沒有影響。

壓測以前，讓咱們先把打開文件句柄數調大：

ulimit -n 20000

並日志的等級改成error，防止過多的info影響壓測結果，在每一個yaml配置文件里加上以下：

Log:
	Level: error

能夠看出在個人MacBook Pro上能達到3萬+的qps。

13. 完整代碼

https://github.com/tal-tech/go-zero/tree/master/example/bookstore

14. 總結

咱們一直強調工具大於約定和文檔。

go-zero不僅是一個框架，更是一個創建在框架+工具基礎上的，簡化和規範了整個微服務構建的技術體系。

咱們在保持簡單的同時也儘量把微服務治理的複雜度封裝到了框架內部，極大的下降了開發人員的心智負擔，使得業務開發得以快速推動。

經過go-zero+goctl生成的代碼，包含了微服務治理的各類組件，包括：併發控制、自適應熔斷、自適應降載、自動緩存控制等，能夠輕鬆部署以承載巨大訪問量。

有任何好的提高工程效率的想法，隨時歡迎交流！👏

15. 項目地址

https://github.com/tal-tech/go-zero

16. 微信交流羣

添加個人微信：kevwan，請註明go-zero，我拉進go-zero社區羣🤝

好將來技術