使用Kafka時必定要注意防止消費速度過慢觸發rebalance而致使的重複消費

在Java應用中，咱們每每會使用spring-kafka組件簡單的設置一下group_id, topic就開始消費消息了，其實這樣會埋下巨大的安全隱患，即當消費速度過慢時有可能會觸發rebalance, 這批消息被分配到另外一個消費者，而後新的消費者還會消費過慢，再次rebalance, 這樣一直惡性循環下去。發生這種狀況最明顯的標誌就是日誌裏能看到CommitFailedException異常，

>>阅读原文<<