Kafka Eagle V1.3.4更新預覽

1.概述

Kafka Eagle是一款開源的Kafka集羣監控系統，源代碼託管在Github。目前Kafka Eagle已更新到V1.3.4版本，域名已經統一更新爲http://www.kafka-eagle.org/，以前的下載地址和官網使用手冊地址均已替換，例如http://download.smartloli.org/替換爲http://download.kafka-eagle.org/，而使用手冊地址http://ke.smartloli.org/替換爲https://docs.kafka-eagle.org/。今天，筆者就帶着你們來總體分析一下Kafka Eagle。

2.內容

Kafka Eagle迭代至今，以及集成了許多功能，例如：多集羣管理、Topic大小統計、Topic MBean監控、Kafka多版本兼容、Flink消費者應用程序支持等。

2.1 Kafka Eagle

2.1.1 背景

Kafka Eagle設計的背景，有如下幾點緣由：

• Apache Kafka官方沒有提供監控系統或是Web頁面，來可視化Kafka集羣，這對管理和掌握Kafka的動態帶來極大的不方便，而開發者和運維人員沒法及時把握Kafka的狀態，在定位分析一些問題的時候，會很不方便
• 已有的監控工具功能較少，對於現有的Kafka監控工具，功能較少，達不到想要的監控和管理效果
• 已有的監控工具使用難度較大，目前一些監控工具均須要本身編譯源代碼，並且在配置上很複雜，同時文檔說明也沒有統一的規範，使用起來很不方便
• 告警支持不足，有些監控工具雖然支持郵件告警，可是，對於已有的IM支持比較欠缺，例如微信和釘釘的支持等

2.1.2 架構和核心模塊

Kafka Eagle核心模塊包含以下：

• 面板可視化
• 主題管理，包含建立主題、刪除主題、主題列舉、主題配置、主題查詢等
• 消費者應用：對不一樣消費者應用進行監控，包含Kafka API、Flink API、Spark API、Storm API、Flume API、LogStash API等
• 集羣管理：包含對Kafka集羣和Zookeeper集羣的詳情展現，其內容包含Kafka啓動時間、Kafka端口號、Zookeeper Leader角色等。同時，還有多集羣切換管理，Zookeeper Client操做入口
• 集羣監控：包含對Broker、Kafka核心指標、Zookeeper核心指標進行監控，並繪製歷史趨勢圖
• 告警功能：對消費者應用數據積壓狀況進行告警，以及對Kafka和Zookeeper監控度進行告警。同時，支持郵件、微信、釘釘告警通知
• 系統管理：包含用戶建立、用戶角色分配、資源訪問進行管理

 

Kafka Eagle架構組成以下所示：

• 可視化：負責展現主題列表、集羣健康、消費者應用等
• 採集器：數據採集的來源包含Zookeeper、Kafka JMX & 內部Topic、Kafka API（這裏API針對Kafka 2.x之後的版本進行升級）
• 數據存儲：目前Kafka Eagle存儲採用MySQL或SQLite，數據庫和表的建立均是自動完成的，按照官方文檔進行配置好，啓動Kafka Eagle就會自動建立，用來存儲元數據和監控數據
• 監控：負責見消費者應用消費狀況（是否有數據積壓）、集羣健康狀態（集羣節點是否掉線）
• 告警：對監控到的異常進行告警通知，支持郵件、微信、釘釘等方式
• 權限管理：對訪問用戶進行權限管理，對於管理員、開發者、訪問者等不一樣角色的用戶，分配不用的訪問權限

2.1.3 選擇Kafka Eagle有哪些好處

選擇Kafka Eagle有哪些好處呢？首先Kafka Eagle安裝使用很是方便，這也是Kafka Eagle設計的初衷之一；其次，Kafka Eagle提供了友好的用戶交互界面，以及豐富的功能支持。同時，對於使用過程當中遇到的BUG和問題，能夠在QQ羣中進行諮詢以及在Github源代碼中提issues。總計以下：

• 簡單易用
• 功能豐富
• 專業支持（諮詢渠道多，實時諮詢Kafka Eagle項目做者進行解答）

2.1.4 後續工做

Kafka Eagle的後續工做，分爲4個維度：

• 系統質量維度：持續優化Kafka Eagle系統，保證Kafka Eagle系統的使用質量
• 需求收集維度：調研並收集Kafka監控需求，同時修復Kafka Eagle在Github中issues問題
• 新功能開發維度：對於實際需求在Kafka Eagle中作新功能開發，來知足使用者的實際需求
• 文檔完善維度：對Kafka Eagle的官網使用手冊進行完善，保證用戶可以閱讀規範的的使用手冊

3.新功能預覽

 在Kafka Eagle V1.3.4中對Flink消費者應用進行了優化，同時對歷史趨勢圖的繪製進行了優化，以及對展現主題列表和消費列表的邏輯進行優化。

 

4.文檔整理

完善了Kafka Eagle的官方使用手冊（https://docs.kafka-eagle.org/），以及Kafka Eagle系統設計PDF文檔（http://pdf.kafka-eagle.org/）。

5.總結

Kafka Eagle的安裝使用很是方便，若是在使用過程當中遇到了問題，能夠給筆者發郵件留言，或者直接在QQ羣進行筆者。同時，也很是歡迎你們一塊兒參與維護這個項目，在Github上提PR，或者issues。

6.結束語

這篇博客就和你們分享到這裏，若是你們在研究學習的過程中有什麼問題，能夠加羣進行討論或發送郵件給我，我會盡我所能爲您解答，與君共勉！

另外，博主出書了《Kafka並不難學》和《Hadoop大數據挖掘從入門到進階實戰》，喜歡的朋友或同窗， 能夠在公告欄那裏點擊購買連接購買博主的書進行學習，在此感謝你們的支持。關注下面公衆號，根據提示，可免費獲取書籍的教學視頻。