Kafka經常使用運維操做

建立主題
kafka-topics.sh --zookeeper localhost:2181 --create --topic my-topic --replication-factor 3 --partitions 3
查看主題列表
kafka-topics.sh --zookeeper localhost:2181 --list
查看主題狀態
kafka-topics.sh --describe --zookeeper 127.0.0.1:2181 --topic TestTopic
修改主題分區
kafka-topics.sh --alter --zookeeper 127.0.0.1:2181 --topic g5 --partitions 3
從新分配Partition和複製因子
kafka-reassign-partitions
--generate: 根據給予的Topic列表和Broker列表生成遷移計劃。generate並不會真正進行消息遷移，而是將消息遷移計劃計算出來，供execute命令使用。
--execute: 根據給予的消息遷移計劃進行遷移。
--verify: 檢查消息是否已經遷移完成。
例子：
kafka-reassign-partitions.sh --zookeeper 10.80.0.34:2181,10.80.0.36:2181,10.80.0.39:2181 --reassignment-json-file topic.json --execute
文本：

{
	"partitions": [{
		"topic": "HaMonitor_PlugInMemoryQueue",
		"partition": 0,
		"replicas": [
			10,
			20,
			30
		]
	}],
	"version": 1
}

　

從新負載Leader
kafka - preferred - replica - election.sh--zookeeper 127.0 .0 .1: 2181--path - to - json - file partition.json 

{
	"partitions": [{
		"topic": "TeldLogSysActionLogV1",
		"partition": 0
	}, {
		"topic": "TeldLogSysActionLogV1",
		"partition": 1
	}, {
		"topic": "TeldLogSysActionLogV1",
		"partition": 2
	}]
}

　　

刪除Topic以及Topic數據，消費者記錄
刪除文件：server.properties -> log.dirs=/var/kafka/log/testtopic***
刪除Topic：/home/kafka/bin/kafka-topics.sh --delete --zookeeper HadoopMaster:2181/kafka --topic test
刪除消費者：
zkclient.sh
rmr /kafka/consumers/test-group
rmr /kafka/config/topics/test
rmr /kafka/brokers/topics/test
rmr /kafka/admin/delete_topics/test

列出舊版本的消費者主組
kafka-consumer-groups.sh --zookeeper localhost:2181 --list
列出新版本的消費者組
kafka-consumer-groups.sh --new-consumer --bootstrap-server 172.21.50.162:9092 --list
獲取舊版本消費者組的詳細信息
kafka-consumer-groups.sh --zookeeper localhost:2181 --describe --group testgroup
獲取新版本消費者羣組testgroup的詳細信息
kafka-consumer-groups.sh --new-consumer --bootstrap-server 172.21.50.162:9092 --describe --group testgroup
查看某一個topic對應的消息數量
kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 172.21.50.162:9092 --topic my-topic --time -1
查看log日誌片斷的內容,顯示查看日誌的內容
kafka-run-class.sh kafka.tools.DumpLogSegments --files 00000000000000000000.log --print-data-log

Kafka日誌配置
一、檢查Kafka數據日誌文件，log.dirs=/var/kafka/log/testtopic***
二、檢查Kafka的運行日誌文件,能夠修改bin/kafka-run-class.sh中的LOG_DIR

配置Kafka外網IP地址實現遠程訪問
kafka0.10如下
修改server.properties 配置文件
advertised.host.name=192.168.1.118
advertised.port=9092
kafka0.10以上
listeners=PLAINTEXT://0.0.0.0:9093 //綁定全部ip
advertised.listeners=PLAINTEXT://42.159.7.75:9093

原文出處：https://www.cnblogs.com/likethis/p/11685191.html