Prometheus+Grafana+kafka_exporter搭建監控系統監控kafka

kafka_exporter 經過 Kafka Protocol Specification 收集 Brokers, Topics 以及 Consumer Groups的相關指標，使用簡單，運行高效，相比於以往經過kafka內置的腳本進行收集，因爲沒有了JVM的運行開銷，指標收集時間從分鐘級別降到秒級別，便於大規模集羣的監控。

git項目地址：https://github.com/danielqsj/kafka_exporter

下載地址： https://github.com/danielqsj/kafka_exporter/releases/download/v1.2.0/kafka_exporter-1.2.0.linux-amd64.tar.gz

docker安裝略過

grafana安裝

#docker run -d --name=grafana -v /etc/localtime:/etc/localtime:ro --restart=always -p 3000:3000 grafana/grafana

prometheus啓動

#docker run -d --name=prometheus -p 9090:9090 --restart=always -v /etc/localtime:/etc/localtime:ro  -v /home/prometheus/prometheus.yml:/etc/prometheus/prometheus.yml  prom/prometheus

注：提早將須要掛載的目錄建立好

#mkdir -pv /home/prometheus/ #touch /home/prometheus/prometheus.yml

登錄到kafka服務器下載kafka_exporter

#wget https://github.com/danielqsj/kafka_exporter/releases/download/v1.2.0/kafka_exporter-1.2.0.linux-amd64.tar.gz # tar -zxvf kafka_exporter-1.2.0.linux-amd64.tar.gz  # cd kafka_exporter-1.2.0.linux-amd64 # ./kafka_exporter --kafka.server=kafkaIP或者域名:9092 &  #ss -tunl

注：9308是kafka_exporter的端口

登錄到prometheus服務器

編寫/home/prometheus/prometheus.yml文件

#vim /home/prometheus/prometheus.yml scrape_configs: # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.    - job_name: 'prometheus'      static_configs:       - targets: ['localhost:9090']     - job_name: 'kafka'      static_configs:       - targets: ['kafkaIP或者域名:9308']         labels:           instance: kafka@kafkaIP或者域名

重啓prometheus

#docker restart prometheus

經過瀏覽器訪問：http://prometheus服務器IP:9090,所添加的kafka_exporter狀態爲UP，就能夠去配置grafana

配置grafana

經過瀏覽器訪問：http://grafana服務器IP:3000，

添加數據源，選擇prometheus，填入prometheus服務器IP端口，點擊保存

導入監控圖表

輸入7589，光標往下移，以下圖

圖表數據就出來了