程序中的日誌

目錄

• 程序中的日誌
  • 日誌概念和分類
    • 應用程序中的日誌
    • 數據庫中的日誌
    • 分佈式系統中的日誌
  • 日誌結構設計
  • 日誌能作什麼事情
    • 線上日誌排錯
    • 藉助 ELK,GreyLog 等第三方工具監控程序
    • 藉助FileBeat,Flume等工具自定義日誌收集
  • 日誌該怎麼打印
    • 何時應該打日誌
    • 基本格式
  • jvm 動態調試
  • 參考資料

程序中的日誌

日誌實際上只是一種按照時間順序存儲記錄的數據表或文件
它記錄了什麼時間發生了什麼事情。而對分佈式數據系統，在許多方面，這是要解決的問題的真正核心

日誌概念和分類

應用程序中的日誌

tomcat 日誌

數據庫中的日誌

日誌記錄了發生了什麼，而每一個表或者索引都是更改歷史中的一個投影。因爲日誌是當即持久化的，發生崩潰時，能夠做爲恢復其餘全部持久化結構的可靠來源

機器可識別的日誌的概念主要都被侷限在數據庫的內部。日誌做爲作數據訂閱機制的用法彷佛是偶然出現的。 但這正是支持各類的消息傳輸、數據流和實時數據處理的理想抽象

分佈式系統中的日誌

分佈式系統以日誌爲中心的方案是來自於一個簡單的觀察，咱們稱之爲狀態機複製原理（State Machine Replication Principle）：

若是兩個相同的、肯定性的進程從同一狀態開始，而且以相同的順序得到相同的輸入，那麼這兩個進程將會生成相同的輸出，而且結束在相同的狀態

肯定性（deterministic）
和冪等概念相似，一樣的輸入，任何狀況都獲得一樣的輸出
意味着處理過程是與時間無關的，並且不會讓任何其餘『帶外』輸入（"out of band" input）影響其處理結果

舉例：
咱們甚至能夠記錄各個副本執行的機器指令序列的日誌 或是 所調用的方法名和參數序列的日誌。 只要兩個進程用相同的方式處理這些輸入，這些副本進程就會保持一致的狀態。

物理與邏輯日誌
對日誌用法不一樣羣體有不一樣的說法。數據庫工做者一般說成 物理 日誌（physical logging）和 邏輯 日誌（logical logging）。 物理日誌是指記錄每一行被改變的內容。邏輯日誌記錄的不是改變的行而是那些引發行的內容改變的SQL語句（insert、update和delete語句）

狀態機器模型
分佈式系統文獻一般把處理和複製（processing and replication）方案寬泛地分紅兩種。『狀態機器模型』

『主-主模型』（active-active model）， 記錄輸入請求的日誌，各個複本處理每一個請求。
『主-備模型』（primary-backup model），即選出一個副本作爲leader，讓leader按請求到達的順序處理請求，並輸出它請求處理的狀態變化日誌。 其餘的副本按照順序應用leader的狀態變化日誌，保持和leader同步，並可以在leader失敗的時候接替它成爲leader。

變動日誌（changelog）101：表與事件的二象性（duality）

變動的日誌 和 表之間有着迷人的二象性。 日誌相似借貸清單和銀行處理流水，而數據庫表則是當前帳戶的餘額。若是有變動日誌，你就能夠應用這些變動生成數據表並獲得當前狀態

能夠認識到日誌是更基本的數據結構：日誌除了可用來建立原表，也能夠用來建立各種衍生表
表與事件的二象性： 表支持了靜態數據，而日誌記錄了變動。日誌的魅力就在於它是變動的 完整 記錄，它不只僅包含了表的最終版本的內容， 並且能夠用於重建任何存在過其它版本。事實上，日誌能夠看做是表 每一個 歷史狀態的一系列備份

表與事件是數據在不一樣條件/場景下數據的性質，是對人們對數據的認識、理解或描述方式。

版本控制系統經過日誌來完成複製：更新代碼便是拉下補丁並應用到你的當前快照中。

日誌結構設計

這塊沒有總結出一個完成的定義，仍是把各類實現方式帶給你們，讓你們來理解看看你們有沒有其餘的更好的理解和建議

OpenTracing語義標準規範及實現
https://www.jianshu.com/p/a963ad0bbe3e

如何使用 AOP 和自定義註解實現請求方法先後日誌打印
https://mp.weixin.qq.com/s/J9eyqIx5Oq-z6mYv8j1zpg

在SpringBoot項目中添加logback的MDC
（Mapped Diagnostic Context，用於打LOG時跟蹤一個「會話「、一個」事務「）
https://blog.csdn.net/hongyang321/article/details/78803584

服務端最佳日誌實踐（v2.0）
https://zhuanlan.zhihu.com/p/27363484

基於elk的業務日誌格式設計
https://segmentfault.com/a/1190000008227989

跟蹤日誌，程序日誌，操做日誌
http://dev.bingocc.com/dtls/logs/prog.html

{
    "type": 
    "trace_id":
    "span_id":
    "thread":
    "timestamp":
    "source_host":
    "component":    
    "logs": [
        {"LogItem":"LogItem"}
    ]
}

LogItem

{
    "level":
    "thread":
    "timestamp":
    "logger":    
    "message":
    "stack":
    "tags": {
    }
}

日誌能作什麼事情

線上日誌排錯

咱們日常使用的 tail -f xxx.log 的形式，來動態觀察錯誤，調試程序

藉助 ELK,GreyLog 等第三方工具監控程序

方便查看
使用這類工具依賴能夠有web界面來查看log，使用起來更友好，搜索條件，無需熟悉linux命令，便可快速的查詢指定時間段的log或是包含指定關鍵字的log

聚類分析
elk 和 grey log都有一點分析圖表和監控報警功能，均可以幫忙實現應用監控指標分析和報警

藉助FileBeat,Flume等工具自定義日誌收集

自定義日誌收集處理
服務端接收到格式化的日誌log，對log進行業務分析和統計，對程序狀態，應用使用，業務狀態進行分析，並能對突發狀況做出預警和響應緊急措施

一段nginx log示例
-- 01 online-php7-6 2018-04-20T12:00:00+08:00 2018-04-20T12:00:00+08:00 0 web 34055 272408431 read_article {"novel_id":"2460","article_id":"883878","price":"35","consume":0}

各個字段含義
-- version, hostname, occur_time, log_time, type, platform, user_id, action, action_json

version: 01
hostname: online-php7-6 hostname
occur_time: 2018-04-20T12:00:00+08:00
log_time: 2018-04-20T12:00:00+08:00
platform: web
user_id: 367245568
action: read_article {"novel_id":"1542","article_id":"672651","price":"35","consume":1}

業務含義
根據上述的打印方式能夠追蹤到app內部每一個模塊業務被觸發的頻次，這只是處理了業務這一範圍，其實還能夠有不少範圍好比：關鍵業務路徑範圍，業務異常警告報錯範圍 等等，一切圍繞應用的日誌

日誌該怎麼打印

何時應該打日誌

1. 當你遇到問題的時候，只能經過debug功能來肯定問題，你應該考慮打日誌，良好的系統，是能夠經過日誌進行問題定爲的。

2. 當你碰到if…else 或者 switch這樣的分支時，要在分支的首行打印日誌，用來肯定進入了哪一個分支

3. 常常以功能爲核心進行開發，你應該在提交代碼前，能夠肯定經過日誌能夠看到整個流程

基本格式

必須使用參數化信息的方式:

logger.debug("Processing trade with id:[{}] and symbol : [{}] ", id, symbol);

對於debug日誌，必須判斷是否爲debug級別後，才進行使用:

if (logger.isDebugEnabled()) {
    logger.debug("Processing trade with id: " +id + " symbol: " + symbol);
}

使用[]進行參數變量隔離

logger.debug("Processing trade with id:[{}] and symbol : [{}] ", id, symbol);

並非全部的service都進行出入口打點記錄,單1、簡單service是沒有意義的(job除外,job須要記錄開始和結束,)。
反例(不要這麼作):

public List listByBaseType(Integer baseTypeId) {


   log.info("開始查詢基地");
BaseExample ex=new BaseExample();
BaseExample.Criteria ctr = ex.createCriteria();
ctr.andIsDeleteEqualTo(IsDelete.USE.getValue());
Optionals.doIfPresent(baseTypeId, ctr::andBaseTypeIdEqualTo);
   log.info("查詢基地結束");
return baseRepository.selectByExample(ex);


}

對於複雜的業務邏輯，須要進行日誌打點，以及埋點記錄，好比電商系統中的下訂單邏輯，以及OrderAction操做(業務狀態變動)

重要的狀態的變動發送事件並留出監聽接口,這個主題下含義是至少要打印log

service爲SOA架構，微服務架構，REST接口，那麼能夠當作是一個外部接口提供方，那麼必須記錄入參。

調用其餘第三方服務時，全部的出參和入參是必需要記錄的(由於你很難追溯第三方模塊發生的問題)

特別詳細的系統運行完成信息，業務代碼中，不要使用.(除非有特殊用意，不然請使用DEBUG級別替代)

@Override
@Transactional
public void createUserAndBindMobile(@NotBlank String mobile, @NotNull User user) throws CreateConflictException{
    boolean debug = log.isDebugEnabled();
    if(debug){
        log.debug("開始建立用戶並綁定手機號. args[mobile=[{}],user=[{}]]", mobile, LogObjects.toString(user));
    }
    try {
        user.setCreateTime(new Date());
        user.setUpdateTime(new Date());
        userRepository.insertSelective(user);
        if(debug){
            log.debug("建立用戶信息成功. insertedUser=[{}]",LogObjects.toString(user));
        }
        UserMobileRelationship relationship = new UserMobileRelationship();
        relationship.setMobile(mobile);
        relationship.setOpenId(user.getOpenId());
        relationship.setCreateTime(new Date());
        relationship.setUpdateTime(new Date());
        userMobileRelationshipRepository.insertOnDuplicateKey(relationship);
        if(debug){
            log.debug("綁定手機成功. relationship=[{}]",LogObjects.toString(relationship));
        }
        log.info("建立用戶並綁定手機號. userId=[{}],openId=[{}],mobile=[{}]",user.getId(),user.getOpenId(),mobile); 
        // 若是考慮安全，手機號記得脫敏
    }catch(DuplicateKeyException e){
        log.info("建立用戶並綁定手機號失敗,已存在相同的用戶. openId=[{}],mobile=[{}]",user.getOpenId(),mobile);
        throw new CreateConflictException("建立用戶發生衝突, openid=[%s]",user.getOpenId());
    }
}

jvm 動態調試

日誌打印通常都是，代碼寫好後部署上去的，忘記加的須要從新編寫而後重啓發布，這塊其實也有熱部署的方案

這塊其實更側重於在線調試，不過都是定位問題，也能夠放在日誌範疇來討論，動態替換代碼,加入日誌打印代碼，從新使用classloader加入內存

BTrace
這個偷懶貼了兩篇帖子
https://tech.meituan.com/2019/02/28/java-dynamic-trace.html
https://www.ezlippi.com/blog/2018/01/btrace-introduce.html

arthas 一樣能夠動態打印追蹤
使用redefine動態修改代碼，加入log打印而後在從新編譯會classloader
https://alibaba.github.io/arthas/
https://alibaba.github.io/arthas/redefine.html

參考資料

Logging 日誌記錄最佳實踐
https://www.oschina.net/question/12_44624

Logging 最佳實踐
https://www.cnblogs.com/zhengyun_ustc/archive/2012/12/15/logging_bp.html

OpenTracing語義標準規範及實現
https://www.jianshu.com/p/a963ad0bbe3e

統一日誌服務系統架構
http://dev.bingocc.com/dtls/arch.html

原來這纔是日誌打印的正確姿式
https://blog.csdn.net/u013256816/article/details/94518764

一些設計上的基本常識

https://gitee.com/52itstyle/spring-boot-seckill/blob/master/%E6%9E%B6%E6%9E%84%E4%B9%8B%E8%B7%AF/%E4%B8%80%E4%BA%9B%E8%AE%BE%E8%AE%A1%E4%B8%8A%E7%9A%84%E5%9F%BA%E6%9C%AC%E5%B8%B8%E8%AF%86%20-%20%E6%A2%81%E9%A3%9E.md#

日誌：每一個軟件工程師都應該知道的有關實時數據的統一抽象 https://github.com/oldratlee/translations/tree/master/log-what-every-software-engineer-should-know-about-real-time-datas-unifying