9420 工具箱-kafka監控工具

kafka 消費監控工具

• 監控每一個消費組的每一個主題每一個分區的消費狀況，偏移量，總日誌量，還剩多少
• 對於消費堵塞的分區能夠查看附近的數據看是什麼緣由致使消費堵塞
• 能夠對主題進行管理，增刪主題，模擬數據發送，只能支持 JSON 數據模擬
• 在雙方調試的時候能夠查看主題分區數據的增量，還能夠看到全部分區最近的每一個分區 10 條數據
• 對於舊版 kafka 0.8.1.1 以前的，能夠設置 offset 來重複消費，或者跳過異常數據來消費

對於 kafkaTool 的優點來講，我這個是在線版的，在公司部署在開發環境後，全部成員不須要每一個人配置一遍鏈接，並且沒有版權的彈框，若是內部協議使用 JSON 數據格式的話，使用本工具將會更加方便

項目地址：https://gitee.com/sanri/sanri-tools-maven
博客地址：https://blog.csdn.net/sanri1993/article/details/52201255

背景

寫這個工具的緣由主要是因爲公司用的 kafkaOffsetMonitor 不夠好用。公司仍是用的舊版本的 kafka ,offset 是保存在 zookeeper 上的，每次讀取 offset ，須要把當前消費組的全部主題的 offset 刷新一次，而且時不時會卡死；還只能查詢，不能設置 zookeeper 的 offset ,每次使用命令去設置特別麻煩。

使用 KafkaTool 配置 saal 比較麻煩，並且還有版權的彈框，很是麻煩，因此本身寫了一個，所有參照自官網 API

功能使用

新建鏈接

由於 kafka 是依賴於 zookeeper 的，個人工具中還有一個 zookeeper 工具，此工具強依賴於 zookeeper 工具，因此你須要先創建一個 zookeeper 鏈接，zookeeper 工具參考 zookeeper監控.md

選擇一個鏈接後，根據是否舊版本選擇 kafka 的新舊，在 0.8.1.1（包含） 以前選擇舊版本，以後選擇新版本便可，kafka 的版本標識是這樣命名的 scalaversion-kafkaversion

以後就是配置安全認證，我這默認是用的 saal_plaintext 認證，通常公司都會採用這種，這個須要你對 kafka 的認證有必定的瞭解

使用

kafka 工具的使用分爲消費組監控和主題管理，可能須要你對 kafka 的結構有必定了解，接下來的使用就看下面的圖解說明了

效果展現

• 選擇鏈接後，將刷新出全部消費組

• 點擊你的消費組，查詢出當前消費組消費的全部主題及主題的總的剩餘量，日誌大小相關信息

• 點擊監控，進入當前消費組，選擇的主題的每一個分區的消費信息詳情

• 點擊附近數據，將查詢當前 offset 前 100 條，後 100 條的數據； 查尾部數據，將查詢 logSize 往前 100 條數據
• 能夠選擇不一樣的序列化格式來序列化數據，我這裏是 json 格式，使用 string 便可

• 當數據格式爲 json 時能夠點擊 json 書，以 json 數據查看

• 在 kafka 首頁點擊 topic 管理能夠進入 topic 管理界面，在這個界面能夠建立主題，刪除主題，查看主題消息，模擬數據發送

• 在調試的時候，是須要看到對方的最新消息的，可是沒法肯定是發到了哪一個分區，能夠在發以前刷新下，再次刷新時就能夠看到對方的數據是發到了哪一個分區，發了多少條數據

  

• 數據查看界面，這個界面是點擊某個分區附近的消息或者尾部消息，或者點 播放 會加載全部分區的最近 10 條數據，這些數據會按照收取時間來倒序排序，能夠更好的調試

  

• 數據模擬界面，這裏只支持模擬 JSON 數據發送，能夠方便的修改 JSON 參數

  

個人博文大綱：https://blog.csdn.net/sanri1993/article/details/52201255