Kafka集羣管理和監控方案之Kafka Manager

https://blog.frognew.com/2019/07/kafka-manager.htmlhtml

 

1.Kafka監控方案簡介

前面咱們已經在k8s上使用incubator/kafka chart部署了Kafka。本篇來聊聊kafka的管理和監控。 關於kafka的監控方案有不少:git

  • Confluent Control Center是Confluent Kafka提供的監控和管理方案,但Confluent Control Center只能在CP Kafka收費的企業版中使用。
  • Kafka Offset Monitor是開源的監控方案,若是監控單個Kafka集羣能夠選擇Kafka Offset Monitor,但從Kafka Offset Monitor的源碼來看已經好久沒有維護了
  • Prometheus + kafka-prometheus-jmx-exporter的監控方案,這個也是incubator/kafka中支持的監控方案,默認使用helm部署kafka是沒有開啓,可經過prometheus.kafka.enabled開啓,這裏先不開啓,準備在以後的內容中介紹Prometheus + kafka-prometheus-jmx-exporter
  • Kafka Manager能夠用來管理和監控多個Kafka集羣,本篇將介紹Kafka Manager。

2.使用Helm部署Kafka Manager

Helm的官方repo中已經提供了Kafka Manager的Chartgithub

建立kafka-manager-values.yamlapp

 1  2  3  4  5  6  7  8  9 10 11 12 13 14 15 16 
image:  repository: zenko/kafka-manager  tag: 1.3.3.22 zkHosts: kafka-zookeeper:2181 basicAuth:  enabled: true  username: admin  password: admin ingress:  enabled: true  hosts:  - kafka.frognew.com  tls:  - secretName: frognew-com-tls-secret  hosts:  - kafka.frognew.com

使用helm部署kafka-manager:spa

1 
helm install --name kafka-manager --namespace kafka -f kafka-manager-values.yaml stable/kafka-manager

安裝完成後,確認kafka-manager的Pod已經正常啓動:code

1 2 3 
kubectl get pod -n kafka -l app=kafka-manager
NAME                             READY   STATUS    RESTARTS   AGE
kafka-manager-5d974b7844-bl7k4   1/1     Running   0          5m47s

使用https://kafka.frognew.com打開kafka-manager的頁面,將咱們以前在k8s上部署的kafka集羣以名稱爲test,並配置Cluster Zookeeper Hostskafka-zookeeper:2181,便可將前面部署的kafka集羣歸入kafka-manager管理當中。htm

kafka-manager

參考

相關文章
相關標籤/搜索