本身手寫了一個監測kafka lag值的shell腳本。以前是用python寫的,感受比較麻煩,這裏寫了一個shell版的,你們能夠直接拿來使用。
cd /usr/share/kafka/kafka_2.11-2.4.1/ || exit 1 lag=$(./bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group my_group 2>/dev/null|grep -v GROUP|awk 'NR>1{num+=$6}END{print num}') echo "$lag" if [ "$lag" -gt 10 ];then echo "lag值過大" #或者mail或者send_ding_msg,自行設置 fi
下面是執行狀況。python
最後能夠將這個腳本添加到crontab定時任務,我目前是每10分鐘執行一次,尚未遇到消息堆積的狀況。shell