kafka監控工具kafka-manager

1.幾個kafka監控工具

Kafka Web Console：監控功能較爲全面，能夠預覽消息，監控Offset、Lag等信息，但存在bug，不建議在生產環境中使用。

Kafka Manager：偏向Kafka集羣管理，若操做不當，容易致使集羣出現故障。對Kafka實時生產和消費消息是經過JMX實現的。沒有記錄Offset、Lag等信息。

KafkaOffsetMonitor：程序一個jar包的形式運行，部署較爲方便。只有監控功能，使用起來也較爲安全。

若只須要監控功能，推薦使用KafkaOffsetMonito，若偏重Kafka集羣管理，推薦使用Kafka Manager。

由於都是開源程序，穩定性欠缺。故需先了解清楚目前已存在哪些Bug，多測試一下，避免出現相似於Kafka Web Console的問題。

小結連接：http://blog.csdn.net/chuntian_feng/article/details/51871648

2.kafka-manager簡介

發現分佈在集羣中的哪些topic分佈不均勻，或者是分區在整個集羣分佈不均勻的的狀況。支持管理多個集羣、選擇副本、副本從新分配以及建立Topic。快速瀏覽kafka集羣

功能：

1.管理多個kafka集羣
2.便捷的檢查kafka集羣狀態(topics,brokers,備份分佈狀況,分區分佈狀況)
3.選擇你要運行的副本
4.基於當前分區情況進行
5.能夠選擇topic配置並建立topic(0.8.1.1和0.8.2的配置不一樣)
6.刪除topic(只支持0.8.2以上的版本而且要在broker配置中設置delete.topic.enable=true)
7.Topic list會指明哪些topic被刪除（在0.8.2以上版本適用）
8.爲已存在的topic增長分區
9.爲已存在的topic更新配置
10.在多個topic上批量重分區
11.在多個topic上批量重分區(可選partition broker位置)

3.kafka-manager 項目地址：

https://github.com/yahoo/kafka-manager

4.安裝

a.官方的Requirements

1. Kafka 0.8.1.1 or 0.8.2.* or 0.9.0.* or 0.10.0.*
2. Java 8+

 本次試驗環境：kafka_2.11-0.10.1.0 , jdk-1.8.0_121 , zookeeper-3.4.10

b.java8環境配置，zookeeper&kafka集羣配置在此不贅述

  kafka-manager安裝：

git clone https://github.com/yahoo/kafka-manager.git
cd kafka-manager
./sbt clean dist    #編譯過程漫長，耐心等待

kafka-manager/target/universal目錄下會生成zip包

 

解壓：

unzip kafka-manager-1.3.3.7.zip -d /usr/local
cd /usr/local/kafka-manager-1.3.3.7

修改配置文件：

修改配置文件application.conf：

修改 kafka-manager.zkhosts="192.168.1.160:2181" 這行

啓動kafka-manager：

#kafka-manager 默認的端口是9000，可經過 -Dhttp.port，指定端口; -Dconfig.file=conf/application.conf指定配置文件:
nohup bin/kafka-manager -Dconfig.file=conf/application.conf -Dhttp.port=9000 &

web訪問：

ip:9000

下圖是添加了2個zk集羣

 

 5.web設置

1.jmx port 和 metrics顯示設置

 

上圖metrics無顯示信息解決方法：

 

設置JMX_PORT：

 export JMX_PORT=9001

重啓kafka：

JMX_PORT=9001 bin/kafka-server-start.sh config/server.properties

 

或者修改kafka的kafka-server-start.sh文件，添加JMX_PORT項，以下圖：

而後重啓kafka。

 

 

2.不要勾選JMX with SSL

3. 若是沒有安裝補丁，不要勾選Display Broker and Topic Size