消息中間件(四)之-kafka重複消費問題

其實kafka的重複消費問題究其底層根本原因就是:已經消費了數據,但是offset沒提交(kafka沒有或者不知道該數據已經被消費)。 基於這種原因總結以下幾個易造成重複消費的配置: 原因1:強行kill線程,導致消費後的數據,offset沒有提交(消費系統宕機、重啓等)。  原因2:設置offset爲自動提交,關閉kafka時,如果在close之前,調用 consumer.unsubscribe
相關文章
相關標籤/搜索