0022-如何永久刪除Kafka的Topic

1.問題描述

使用kafka-topics --delete命令刪除topic時並無真正的刪除，而是把topic標記爲：「marked for deletion」，致使從新建立相同名稱的Topic時報錯「already exists」。

2.問題復現

1.登陸Kafka集羣所在的服務器，建立一個test的topic

[root@cdh1 ~]# kafka-topics --create --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --replication-factor 1 --partitions 1 --topic test

2.查看新建立的topic

[root@cdh1 ~]# kafka-topics --list --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181

3.經過以下命令刪除新建的topic

[root@cdh1 ~]# kafka-topics --delete --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --topic test

此處顯示「Topic test is marked for deletion」

4.嘗試從新建立一個test的Topic

[root@cdh1 ~]# kafka-topics --create --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --replication-factor 1 --partitions 1 --topic test

提示該Topic已存在，說明在第3步操做的刪除並無真正的將Topic刪除。

3.問題緣由

默認狀況下Kafka是禁用了刪除Topic的操做，因此在執行Topic刪除的時候只是將刪除的Topic標記爲「marked for deletion」狀態。能夠經過修改Kafka服務的配置參數啓用。

4.解決方法

4.1方法1

在kafka服務配置delete.topic.enable=false的狀況下，若是須要永久刪除topic則須要作以下操做：

• 經過kafka命令刪除相應的topic
• 在zookeeper中刪除相應的topic
• 在topic所在的broker節點上刪除topic的log數據

操做以下：

1.查看topic的描述信息，命令以下

kafka-topics --describe --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --topic test

上圖標註部分爲topic對應的數據存放節點

2.經過kafka命令刪除，命令以下：

kafka-topics --delete --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --topic test

3.經過zookeeper客戶端刪除topic，命令以下

zookeeper-client -server ip-172-31-1-175.ap-southeast-1.compute.internal:2181

ls /brokers/topics

rmr /brokers/topics/test

注：標紅部分爲topic的名稱

4.登陸到第1步中列出的對應節點的topic的log數據目錄，此處咱們Kafka的log.dirs目錄配置爲/var/local/kakfa，執行命令

[ec2-user@ip-172-31-9-186 data]$ sudo rm -rf test-0/

5.驗證是否生效

建立一個名稱爲「test」的Topic，能夠正常建立

注意：此處將topic爲test的日誌目錄（/var/local/kafka/test-0）刪除後，新建立的topic爲test的日誌目錄不存在，重啓Kafka服務後正常，目錄能正常顯示。

4.2方法2

在Kafka服務已配置delete.topic.enable=true的狀況下，永久刪除topic須要作以下操做：

• 使用kafka命令刪除topic

操做以下：

1. 刪除前數據查看：

kafka-topics --describe --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --topic test

各個數據節點的信息：

Zookeeper信息：

2.經過kafka命令刪除須要刪除的topic，命令以下

kafka-topics --delete --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --topic test

3.查看Zookeeper客戶端topic信息

[zk: ip-172-31-1-175.ap-southeast-1.compute.internal:2181(CONNECTED) 9] ls /brokers/topics

4.查看brober節點上topic的日誌數據

5.刪除後成功後，驗證是否能建立名稱爲test的Topic

注意：

若是Kafka服務配置了delete.topic.enable=true，直接經過命令行刪除，未能刪除Topic則能夠經過zookeeper-client來進行刪除。

若是Kafka服務未配置delete.topic.enable=true，直接經過delete命令刪除topic，刪除時只會將topic標記爲「marked for deletion」，而後經過zookeeper-client進行刪除是不會刪除topic的data.log數據目錄的，須要將相應的broker服務器上的data.log目錄下相應的topic目錄刪除，data.log目錄獲取，能夠經過CM界面查看：

建議：Kafka服務開啓delete.topic.enable=true，開啓方式以下：

開啓後須要重啓Kafka服務。

醉酒鞭名馬，少年多浮誇！ 嶺南浣溪沙，嘔吐酒肆下！摯友不願放，數據玩的花！

歡迎關注Hadoop實操，第一時間，分享更多Hadoop乾貨，喜歡請關注分享。