go-gin-api 路由中間件 - 日誌記錄

時間 2019-11-09

原文原文鏈接

概述

首先同步下項目概況：

上篇文章分享了，規劃項目目錄和參數驗證，其中參數驗證使用的是 validator.v8 版本，現已更新到 validator.v9 版本，最新代碼查看 github 便可。

這篇文章我們分享：路由中間件 - 日誌記錄。

日誌是特別重要的一個東西，方便咱們對問題進行排查，這篇文章咱們實現將日誌記錄到文本文件中。

這是我規劃的，須要記錄的參數：

php

 - request 請求數據    
        - request_time    
        - request_method    
        - request_uri    
        - request_proto    
        - request_ua    
        - request_referer    
        - request_post_data    
        - request_client_ip    
    - response 返回數據    
        - response_time    
        - response_code    
        - response_msg    
        - response_data    
    - cost_time 花費時間

Gin 框架中自帶 Logger 中間件，咱們瞭解下框架中自帶的 Logger 中間件是否知足咱們的需求？

gin.Logger()

咱們先使用 gin.Logger() 看看效果。

在 route.go SetupRouter 方法中增長代碼：

git

engine.Use(gin.Logger())

運行後多請求幾回，日誌輸出在命令行中：

github

   [GIN] 2019/08/30 - 21:24:16 | 200 |     178.072µs |             ::1 | GET      /ping    
    [GIN] 2019/08/30 - 21:24:27 | 200 |     367.997µs |             ::1 | POST     /product    
    [GIN] 2019/08/30 - 21:24:28 | 200 |    2.521592ms |             ::1 | POST     /product

先解決第一個問題，怎麼將日誌輸出到文本中？

在 route.go SetupRouter 方法中增長代碼：json

    f, _ := os.Create(config.AppAccessLogName)    
    gin.DefaultWriter = io.MultiWriter(f)    
    engine.Use(gin.Logger())

運行後多請求幾回，日誌輸出在文件中：api

    [GIN] 2019/08/30 - 21:36:07 | 200 |     369.023µs |             ::1 | GET      /ping    
    [GIN] 2019/08/30 - 21:36:08 | 200 |      27.585µs |             ::1 | GET      /ping    
    [GIN] 2019/08/30 - 21:36:10 | 200 |      14.302µs |             ::1 | POST     /product

雖然記錄到文件成功了，可是記錄的參數不是咱們想要的樣子。

怎麼辦呢？

咱們須要自定義一個日誌中間件，按照咱們須要的參數進行記錄。

自定義 Logger()app

middleware/logger/logger.go

    package logger    
    import (    
        "bytes"    
        "encoding/json"    
        "fmt"    
        "github.com/gin-gonic/gin"    
        "go-gin-api/app/config"    
        "go-gin-api/app/util"    
        "log"    
        "os"    
    )    
    type bodyLogWriter struct {    
        gin.ResponseWriter    
        body *bytes.Buffer    
    }    
    func (w bodyLogWriter) Write(b []byte) (int, error) {    
        w.body.Write(b)    
        return w.ResponseWriter.Write(b)    
    }    
    func (w bodyLogWriter) WriteString(s string) (int, error) {    
        w.body.WriteString(s)    
        return w.ResponseWriter.WriteString(s)    
    }    
    func SetUp() gin.HandlerFunc {    
        return func(c *gin.Context) {    
            bodyLogWriter := &bodyLogWriter{body: bytes.NewBufferString(""), ResponseWriter: c.Writer}    
            c.Writer = bodyLogWriter    
            //開始時間    
            startTime := util.GetCurrentMilliTime()    
            //處理請求    
            c.Next()    
            responseBody := bodyLogWriter.body.String()    
            var responseCode int    
            var responseMsg  string    
            var responseData interface{}    
            if responseBody != "" {    
                response := util.Response{}    
                err := json.Unmarshal([]byte(responseBody), &response)    
                if err == nil {    
                    responseCode = response.Code    
                    responseMsg  = response.Message    
                    responseData = response.Data    
                }    
            }    
            //結束時間    
            endTime := util.GetCurrentMilliTime()    
            if c.Request.Method == "POST" {    
                c.Request.ParseForm()    
            }    
            //日誌格式    
            accessLogMap := make(map[string]interface{})    
            accessLogMap["request_time"]      = startTime    
            accessLogMap["request_method"]    = c.Request.Method    
            accessLogMap["request_uri"]       = c.Request.RequestURI    
            accessLogMap["request_proto"]     = c.Request.Proto    
            accessLogMap["request_ua"]        = c.Request.UserAgent()    
            accessLogMap["request_referer"]   = c.Request.Referer()    
            accessLogMap["request_post_data"] = c.Request.PostForm.Encode()    
            accessLogMap["request_client_ip"] = c.ClientIP()    
            accessLogMap["response_time"] = endTime    
            accessLogMap["response_code"] = responseCode    
            accessLogMap["response_msg"]  = responseMsg    
            accessLogMap["response_data"] = responseData    
            accessLogMap["cost_time"] = fmt.Sprintf("%vms", endTime - startTime)    
            accessLogJson, _ := util.JsonEncode(accessLogMap)    
            if f, err := os.OpenFile(config.AppAccessLogName, os.O_WRONLY|os.O_APPEND|os.O_CREATE, 0666); err != nil {    
                log.Println(err)    
            } else {    
                f.WriteString(accessLogJson + "\n")    
            }    
        }    
    }

運行後多請求幾回，日誌輸出在文件中：

框架

   {"cost_time":"0ms","request_client_ip":"::1","request_method":"GET","request_post_data":"","request_proto":"HTTP/1.1","request_referer":"","request_time":1567172568233,"request_ua":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36","request_uri":"/ping","response_code":1,"response_data":null,"response_msg":"pong","response_time":1567172568233}    
    {"cost_time":"0ms","request_client_ip":"::1","request_method":"GET","request_post_data":"","request_proto":"HTTP/1.1","request_referer":"","request_time":1567172569158,"request_ua":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36","request_uri":"/ping","response_code":1,"response_data":null,"response_msg":"pong","response_time":1567172569158}    
    {"cost_time":"0ms","request_client_ip":"::1","request_method":"POST","request_post_data":"name=admin","request_proto":"HTTP/1.1","request_referer":"","request_time":1567172629565,"request_ua":"PostmanRuntime/7.6.0","request_uri":"/product","response_code":-1,"response_data":null,"response_msg":"Key: 'ProductAdd.Name' Error:Field validation for 'Name' failed on the 'NameValid' tag","response_time":1567172629565}

OK，我們想要的全部參數全都記錄了！

拋出幾個問題吧：

一、有沒有開源的日誌記錄工具？

固然有，其中 logrus 是用的最多的，這個工具功能強大，原來我也分享過，能夠看下原來的文章《使用 logrus 進行日誌收集》。

二、爲何將日誌記錄到文本中？

由於，日誌平臺可使用的是 ELK。

使用 Logstash 進行收集文本文件，使用 Elasticsearch 引擎進行搜索分析，最終在 Kibana 平臺展現出來。

三、當大量請求過來時，寫入文件會不會出問題？

可能會，這塊可使用異步，我們能夠用下 go 的 chan，具體實現看代碼吧，我就不貼了。

異步