總結一次kafka的consumer消費能力很低的處理方案

問題

項目使用spring-kafka操做消費kafka
近期出現消費速度變慢，consumer消費一條數據平均須要200ms的時間，而且頻繁發生，consumer會中止消費十幾秒。

日誌分析

如下爲日誌記錄，consumer會時長從消費組中掉出再從新加入

o.a.k.c.c.i.AbstractCoordinator:542 - Marking the coordinator 127.0.0.1:9092 (id: 2147483643 rack: null) dead for group group.id 
o.a.k.c.c.i.AbstractCoordinator:505 - Discovered coordinator 127.0.0.1:9092 (id: 2147483643 rack: null) for group group.id. 
o.a.k.c.c.i.ConsumerCoordinator:292 - Revoking previously assigned partitions [topic-12] for group group.id 
o.a.k.c.c.i.AbstractCoordinator:326 - (Re-)joining group group.id 
o.a.k.c.c.i.AbstractCoordinator$SyncGroupResponseHandler:434 - Successfully joined group group.id with generation 12182 
o.a.k.c.c.i.ConsumerCoordinator:231 - Setting newly assigned partitions [topic-12] for group group.id

解決方案

kafka服務配置文件server.properties提升系統配置參數

#Broker處理消息的最大線程數
num.network.threads=cpu核數加1
#Broker處理磁盤IO的線程數
num.io.threads=cpu核數2倍，最大不超過3倍

備份並重啓kafka服務