項目使用Kafka鏡像報錯處理記錄：this server does not host this topic-partition

背景

1. 項目使用docker swarm部署
2. 服務之間使用消息中間件 kafka 通訊
3. Kafka 使用 star 3.7k 的 wurstmeister/kafka:2.12-2.2.1 鏡像
4. Zookeeper 使用 zookeeper:3.5.5 鏡像

問題描述

每當Kafka和Zookeeper服務重啓後，項目就會報如下錯誤：

org.apache.kafka.common.errors.UnknownTopicOrPartitionException:
This server does not host this topic-partition

因爲是開發環境，以前每次遇到這種問題，都是粗魯的直接清掉Kafka和Zookeeper的存儲文件，隨後重啓就工做正常。

在切CICD環境以前，咱們一直使用物理機部署程序在跑，在物理機上安裝的Kafka和Zookeeper， 項目運行了一年多歷來沒出現過這種問題。

排查問題

首先仔細閱讀了kafka鏡像的readme文件，問題出如今下面這塊：

By default each broker will get a new port number and broker id on restart. Depending on your use case this might not be desirable. If you need to use specific ports and broker ids, modify the docker-compose configuration accordingly.

默認狀況下，在重啓Kafka鏡像時每一個broker會獲取一個新的broker id。在你的項目中，這種機制或許是不合適的。若是你須要用指定的broker ids，請相應地修改你的docker-compose配置。

看了這一段說明，我追蹤瞭如下zookeeper中 /borkers/ids 下面的節點信息，發現每次重啓Kafka以後，都會生成新的id出來，這就是問題的根本。

因而我接着查看了一下物理機上Kafka的配置文件，發現 broker id 在配置項中是固定值 0。

解決方案

1. 修改 docker-compose 文件中 kafka 的配置，明確配置 Kafka 的 broker id，例如：環境變量添加 KAFKA_BROKER_ID: 0
2. 經過 BROKER_ID_COMMAND 命令配置，例如：BROKER_ID_COMMAND: "hostname | awk -F'-' '{print $$2}'"
3. 若是你的環境支持自動伸縮，那麼推薦使用 --no-recreate 選項來確保 container 不會從新建立，這樣就會保留以前生成的 broker id

歡迎訪問個人我的博客

關注公衆號：JAVA九點半課堂，這裏有一批優秀的程序猿，加入咱們，一塊兒探討技術，共同進步！回覆「資料」獲取 2T 行業最新資料！