Kafka集羣管理工具kafka-manager安裝使用

（一）、簡介
kafka-manager是最受歡迎的kafka集羣管理工具，有以下功能：

• 管理多個集羣
• 輕鬆檢查羣集狀態（主題，消費者，偏移，代理，副本分發，分區分發）
• 運行首選副本選舉
• 使用選項生成分區分配以選擇要使用的代理
• 運行分區從新分配（基於生成的分配）
• 使用可選主題配置建立主題（0.8.1.1具備與0.8.2+不一樣的配置）
• 刪除主題（僅支持0.8.2+並記住在代理配​​置中設置delete.topic.enable = true）
• 主題列表如今指示標記爲刪除的主題（僅支持0.8.2+）
• 批量生成多個主題的分區分配，並可選擇要使用的代理
• 批量運行從新分配多個主題的分區
• 將分區添加到現有主題
• 更新現有主題的配置
• 可隨意開啓對broker級別或者對topic級別的JMX輪詢
• 可方便的過濾出沒有id 、全部者、延遲或目錄等的消費者

kafka-manager項目地址以下：https://github.com/yahoo/kafka-manager/releases ，可對應下載相應的版本。

（二）、安裝和配置

[root@kafka1-master opt]#wget https://github.com/yahoo/kafka-manager/archive/2.0.0.2.tar.gz
[root@kafka1-master opt]#cd kafka-manager-2.0.0.2/
[root@kafka1-master opt]#curl https://bintray.com/sbt/rpm/rpm > bintray-sbt-rpm.repo
[root@kafka1-master opt]#mv bintray-sbt-rpm.repo /etc/yum.repos.d/
[root@kafka1-master opt]#yum install sbt
[root@kafka1-master opt]#sbt-version
[root@kafka1-master opt]#./sbt clean dist
[root@kafka1-master opt]#cd /usr/local/kafka-manager/target/universal/
[root@kafka1-master opt]#mv kafka-manager-2.0.0.2/ /usr/local/kafka-manager2
########修改kafka-manager.zkhosts
[root@kafka1-master opt]#[root@kafka1-master opt]# vim /usr/local/kafka-manager2/conf/application.conf 

kafka-manager.zkhosts="172.19.168.92:2181,172.19.152.247:2181,172.19.152.245:2181"
#########啓動默認地址是9000也能夠經過 -Dhttp.port，指定端口; -Dconfig.file=conf/application.conf指定配置文件:
[root@kafka1-master opt]#yum install coreutils
[root@kafka1-master opt]#[root@kafka1-master opt]# nohup --version
nohup (GNU coreutils) 8.22
Copyright (C) 2013 Free Software Foundation, Inc.
License GPLv3+: GNU GPL version 3 or later <http://gnu.org/licenses/gpl.html>.
This is free software: you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.

Written by Jim Meyering.
[root@kafka1-master opt]# nohub /usr/local/kafka-manager2/bin/kafka-manager &
[root@kafka1-master kafka-manager2]# netstat -lntp|grep  9000
tcp        0      0 0.0.0.0:9000            0.0.0.0:*               LISTEN      26579/java

（三）、使用配置。
一、新建cluster集羣

Enable JMX Polling
是否開啓 JMX 輪訓，該部分直接影響部分 kafka broker 和 topic 監控指標指標的獲取（生效的前提是 kafka 啓動時開啓了 JMX_PORT。主要影響以下指標的查看：

二、Enable Active OffsetCache
是否開啓 offset 緩存，決定 kafka-manager 是否緩存住 topic 的相關偏移量。

其它參數說明

參數名 參數說明 默認值 備註
brokerViewUpdatePeriodSeconds Broker視圖週期更新時間/單位（s） 30
clusterManagerThreadPoolSize 集羣管理線程池大小 2
clusterManagerThreadPoolQueueSize 集羣管理線程池列隊大小 100
KafkaCommandThreadPoolSize Kafka命令線程池大小 2
logkafkaCommandThreadPoolQueueSize logkafka命令線程池列隊大小 100
logkafkaUpdatePeriodSeconds Logkafka週期更新時間/單位（s） 30
partitionOffsetCacheTimeoutSecs Partition Offset緩存過時時間/單位（s） 5
brokerViewThreadPoolSize Broker視圖線程池大小 8 3 number_of_brokers
brokerViewThreadPoolQueue Size Broker視圖線程池隊列大小 1000 3 total # of partitions across all topics
offsetCacheThreadPoolSize Offset緩存線程池大小 8
offsetCacheThreadPoolQueueSize Offset緩存線程池列隊大小 1000
kafkaAdminClientThreadPoolSize Kafka管理客戶端線程池大小 8
kafkaAdminClientTheadPoolQueue Sizec Kafka管理客戶端線程池隊列大小 1000
kafkaManagedOffsetMetadataCheckMillis Offset元數據檢查時間 30000 （這部分解釋屬本身理解）
kafkaManagedOffsetGroupCacheSize Offset組緩存大小 100000 （這部分解釋屬本身理解）
kafkaManagedOffsetGroupExpireDays Offset組緩存保存時間 7 （這部分解釋屬本身理解）
Security Protocol 安全協議 PLAINTEXT [SASL_PLAINTEXT,SASL_SSL,SSL]

具體能夠參考以下：https://blog.csdn.net/u011089412/article/details/87895652