Kafka經常使用命令

時間 2019-11-16

標籤 kafka 經常使用命令欄目 Kafka 简体版

原文原文鏈接

1.建立topicnode

./kafka-topics.sh --create --topic test1 --replication-factor 2 --partitions 3 --zookeeper hbp001:2181bootstrap

2.增長partition日誌

./kafka-topics.sh --zookeeper node01:2181 --alter --topic t_cdr --partitions 10orm

3.查看全部topic列表server

./kafka-topics.sh --zookeeper hbp201:2181 –listget

4.查看指定topic信息kafka

./kafka-topics.sh --zookeeper hbp201:2181 --describe --topic t_cdrit

5.控制檯向topic生產數據io

./kafka-console-producer.sh --broker-list node86:9092 --topic t_cdrconsole

6.控制檯消費topic的數據

./kafka-console-consumer.sh -zookeeper hdh247:2181 --from-beginning --topic fieldcompact

7.查看topic某分區偏移量最大（小）值

./kafka-run-class.sh kafka.tools.GetOffsetShell --topic hive-mdatabase-hostsltable --time -1 --broker-list node86:9092 --partitions 0
注： time爲-1時表示最大值，time爲-2時表示最小值

8.增長topic分區數

爲topic t_cdr 增長到10個分區
./kafka-topics.sh --zookeeper hbp201:2181 --alter --topic t_cdr --partitions 10

9.刪除topic

慎用，只會刪除zookeeper中的元數據，消息文件須手動刪除
./kafka-run-class.sh kafka.admin.DeleteTopicCommand --zookeeper hbp201:2181 --topic t_cdr

10.查看consumer組內消費的offset

./kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper localhost:2181 --group test --topic testKJ1
./kafka-consumer-offset-checker.sh --zookeeper 192.168.0.201:2181 --group group1 --topic group1

11.查看kafka某分區日誌具體內容

./kafka-run-class.sh kafka.tools.DumpLogSegments -files /tmp/kafka-logs/test3-0/00000000000000000000.log -print-data-log

12.獲取正在消費的topic的group的offset

./kafka-consumer-groups.sh --new-consumer --describe --group test6 --bootstrap-server hbp201:9092

13.顯示消費者

./kafka-consumer-groups.sh --bootstrap-server hdh56:9092,hdh57:9092,hdh58:9092 --list --new-consume

14.消費的topic查看

./bin kafka-console-consumer.sh --topic __consumer_offsets --zookeeper localhost:2181 --formatter "kafka.coordinator.GroupMetadataManager\$OffsetsMessageFormatter" --consumer.config /etc/KAFKA/consumer.properties --from-beginning
其中consumer.properties的group.id=消費的組，
exclude.internal.topics=false

15.kafka自帶壓測命令

./kafka-producer-perf-test.sh --topic test5 --num-records 100000 --record-size 1 --throughput 100 --producer-props bootstrap.servers=hbp001:9092

16.平衡leader

./kafka-preferred-replica-election.sh --zookeeper zk_host:port/chroot