Kafka常見錯誤整理（不斷更新中）

一、UnknownTopicOrPartitionException

org.apache.kafka.common.errors.UnknownTopicOrPartitionException:
This server does not host this topic-partition複製代碼

報錯內容：分區數據不在

緣由分析：producer向不存在的topic發送消息，用戶能夠檢查topic是否存在 或者設置auto.create.topics.enable參數

二、LEADERNOTAVAILABLE

WARN Error while fetching metadata with correlation id 0 : {test=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient複製代碼

報錯內容：leader不可用

緣由分析：緣由不少 topic正在被刪除 正在進行leader選舉 使用kafka-topics腳本檢查leader信息

進而檢查broker的存活狀況 嘗試重啓解決

三、NotLeaderForPartitionException

org.apache.kafka.common.errors.NotLeaderForPartitionException: This server is not the leader for that topic-partition複製代碼

報錯內容：broker已經不是對應分區的leader了

緣由分析：發生在leader變動時 當leader從一個broker切換到另外一個broker時，要分析什麼緣由引發了leader的切換

四、TimeoutException

org.apache.kafka.common.errors.TimeoutException: Expiring 5 record(s) for test-0: 30040 ms has passe複製代碼

報錯內容：請求超時

緣由分析：觀察哪裏拋出的 觀察網絡是否能通 若是能夠通 能夠考慮增長request.timeout.ms的值

五、RecordTooLargeException

WARN async.DefaultEventHandler: Produce request with correlation id 92548048 failed due to [TopicName,1]: org.apache.kafka.common.errors.RecordTooLargeException複製代碼

報錯內容：消息過大

緣由分析：生產者端 消息處理不過來了 能夠增長 request.timeout.ms 減小 batch.size

六、Closing socket connection

Closing socket connection to/127,0,0,1.(kafka.network.Processor) 複製代碼

報錯內容：鏈接關閉

緣由分析：若是javaApi producer版本高，想在客戶端consumer啓動低版本驗證，會不停的報錯

沒法識別客戶端消息。

七、ConcurrentModificationException

java.util.ConcurrentModificationException: KafkaConsumer is not safe for multi-threaded access  複製代碼

報錯內容：線程不安全

緣由分析：Kafka consumer是非線程安全的

八、NetWorkException

[kafka-producer-network-thread | producer-1] o.apache.kafka.common.network.Selector : [Producer clientId=producer-1] Connection with / disconnected複製代碼

報錯內容：網絡異常

緣由分析：網絡鏈接中斷 檢查broker的網絡狀況

九、ILLEGAL_GENERATION

ILLEGAL_GENERATION occurred while committing offsets for group  複製代碼

報錯內容：無效的「代」

緣由分析：consumer錯過了 rebalance 緣由是consumer花了大量時間處理數據。

須要適當減小 max.poll.records值 增長 max.poll.interval.ms 或者想辦法增長消息處理的速度

未完待續~~~

更多實時計算,Flink,Kafka等相關技術博文，歡迎關注實時流式計算