Kafka Manager

 

1.kafka Manager

1.上傳壓縮包kafka-manager-1.3.3.15.zip到集羣

2.解壓到/opt/module

3.修改配置文件conf/application.conf
kafka-manager.zkhosts="kafka-manager-zookeeper:2181"
修改成：
kafka-manager.zkhosts="hadoop101:2181,hadoop102:2181,hadoop103:2181"

4.啓動kafka-manager
bin/kafka-manager

5.登陸hadoop102:9000頁面查看詳細信息
[kris@hadoop101 software]$ unzip kafka-manager-1.3.3.15.zip -d /opt/module/
[kris@hadoop101 bin]$ chmod +x kafka-manager
[kris@hadoop101 bin]$ ./kafka-manager ##啓動

9000端口號可能會衝突，也能夠修改端口號

啓動KafkaManager [kris@hadoop101 kafka-manager]$ nohup bin/kafka-manager   -Dhttp.port=7456 >/opt/module/kafka-manager-1.3.3.22/start.log 2>&1 &

 

添加集羣：

 集羣信息：

添加主題；

從新獲取平衡

 

分區數、節點數、Brokers Spread節點分佈比例（如一共3個節點，主題佔了3個節點因此分佈比例是100%，若是有3個節點主題只佔1個，則33% ）

Brokers Skew節點傾斜度、（1個Topic--3個分區--每一個分區3個副本；若是某個節點上分區數>3個， 有節點超負荷了（有1個節點超負荷了即1/3=33%，兩個節點超負荷了則2/3）

Brokers Leader Skew Leader的傾斜度，leader都在一個節點上，leader傾斜度）

 

 起一個消費者

[kris@hadoop101 kafka]$ bin/kafka-console-consumer.sh --bootstrap-server hadoop101:9092 --topic first

 

 2. KafkaMonitor

侷限性，offset在zk上能夠使用

1.上傳jar包KafkaOffsetMonitor-assembly-0.2.0.jar到集羣 2.在/opt/module/下建立kafka-offset-console文件夾 3.將上傳的jar包放入剛建立的目錄下 4.在/opt/module/kafka-offset-console目錄下建立啓動腳本start_en.sh，內容以下：
java -cp就是執行下那個jar包；主方法所在的類的類名；zk地址；每隔10s刷新下庫； [kris@hadoop101 kafka-offset-console]$ vim start_en.sh #!/bin/bash java -Xms512M -Xmx512M -Xss1024K -XX:PermSize=256m -XX:MaxPermSize=512m -cp KafkaOffsetMonitor-assembly-0.2.0.jar \ com.quantifind.kafka.offsetapp.OffsetGetterWeb \ --zk 192.168.1.101:2181,192.168.1.102:2182,192.168.1.103:2181 \ --port 8086 \ --refresh 10.seconds \ --retain 7.days 1>mobile-logs/stdout.log 2>mobile-logs/stderr.log & [kris@hadoop101 kafka-offset-console]$ ll 總用量 56560 -rw-rw-r--. 1 kris kris 57910726 3月 1 21:23 KafkaOffsetMonitor-assembly-0.2.0.jar -rw-rw-r--. 1 kris kris 375 3月 1 21:25 start_en.sh 5.在/opt/module/kafka-offset-console目錄下建立mobile-logs文件夾 [kris@hadoop101 kafka-offset-console]$ mkdir /opt/module/kafka-offset-console/mobile-logs [kris@hadoop101 kafka-offset-console]$ ll 總用量 56564 -rw-rw-r--. 1 kris kris 57910726 3月 1 21:23 KafkaOffsetMonitor-assembly-0.2.0.jar drwxrwxr-x. 2 kris kris 4096 3月 1 21:26 mobile-logs -rw-rw-r--. 1 kris kris 375 3月 1 21:25 start_en.sh [kris@hadoop101 kafka-offset-console]$ ./start_en.sh -bash: ./start_en.sh: 權限不夠 [kris@hadoop101 kafka-offset-console]$ chmod +x start_en.sh 6.啓動KafkaMonitor [kris@hadoop101 kafka-offset-console]$ ./start_en.sh  

 http://hadoop101:8086/#/

 

[kris@hadoop101 kafka]$ bin/kafka-console-producer.sh --broker-list hadoop101:9092 --topic first
>hello
>world
[kris@hadoop101 kafka]$ bin/kafka-console-consumer.sh --zookeeper hadoop101:2181 --topic first                    
Using the ConsoleConsumer with old consumer is deprecated and will be removed in a future major release. Consider using the new consumer by passing [bootstrap-server] instead of [zookeeper].
hello
world
java

 

主題生產到了longSize184的offset，目前消費到177，lag還有6個沒有消費到；

 lag有多少條消息沒有被消費；到最後都被消費掉lag=0