Kafka學習筆記之Kafka三款監控工具

0x00 概述

在以前的博客中，介紹了Kafka Web Console這 個監控工具，在生產環境中使用，運行一段時間後，發現該工具會和Kafka生產者、消費者、ZooKeeper創建大量鏈接，從而致使網絡阻塞。而且這個 Bug也在其餘使用者中出現過，看來使用開源工具要慎重！該Bug暫未獲得修復，不得已，只能研究下其餘同類的Kafka監控軟件。

經過研究，發現主流的三種kafka監控程序分別爲：

• Kafka Web Conslole
• Kafka Manager
• KafkaOffsetMonitor

如今依次介紹以上三種工具：

 

0x01 Kafka Web Conslole

使用Kafka Web Console，能夠監控：

• Brokers列表

• Kafka 集羣中 Topic列表，及對應的Partition、LogSiz e等信息

• 點擊Topic，能夠瀏覽對應的Consumer Groups、Offset、Lag等信息

• 生產和消費流量圖、消息預覽…

程序運行後，會定時去讀取kafka集羣分區的日誌長度，讀取完畢後，鏈接沒有正常釋放，一段時間後產生大量的socket鏈接，致使網絡堵塞。

 

0x02 Kafka Manager

雅虎開源的Kafka集羣管理工具:

• 管理幾個不一樣的集羣

• 監控集羣的狀態(topics, brokers, 副本分佈, 分區分佈)

• 產生分區分配(Generate partition assignments)基於集羣的當前狀態

• 從新分配分區

 

0x03 KafkaOffsetMonitor

• KafkaOffsetMonitor能夠實時監控：

• Kafka集羣狀態

• Topic、Consumer Group列表

• 圖形化展現topic和consumer之間的關係

• 圖形化展現consumer的Offset、Lag等信息

 

0x04 總結

經過使用，我的總結以上三種監控程序的優缺點：

Kafka Web Console：監控功能較爲全面，能夠預覽消息，監控Offset、Lag等信息，但存在bug，不建議在生產環境中使用。

Kafka Manager：偏向Kafka集羣管理，若操做不當，容易致使集羣出現故障。對Kafka實時生產和消費消息是經過JMX實現的。沒有記錄Offset、Lag等信息。

KafkaOffsetMonitor：程序一個jar包的形式運行，部署較爲方便。只有監控功能，使用起來也較爲安全。

若只須要監控功能，推薦使用KafkaOffsetMonito，若偏重Kafka集羣管理，推薦使用Kafka Manager。

由於都是開源程序，穩定性欠缺。故需先了解清楚目前已存在哪些Bug，多測試一下，避免出現相似於Kafka Web Console的問題。

 

0x05 參考

原創文章，轉載請註明：
轉載自藍色天堂博客，本文連接地址：http://hadoop1989.com/2015/09/22/Kafka-Monitor_Compare/

一張網頁，要經歷怎樣的過程，才能抵達用戶面前？ 一位新人，要經歷怎樣的歷練，才能站在技術之巔？