kafka消費者會出現的一些問題和解決辦法

1.消費者位移提交失敗導致數據一直重複消費   原因:kafka的consumer消費數據時首先會從broker裏讀取一批消息數據進行處理,處理完成後再提交offset。而我們項目中的consumer消費能力比較低,導致取出的一批數據在session.timeout.ms時間內沒有處理完成,自動提交offset失敗,然後kafka會重新分配partition給消費者,消費者又重新消費之前的一批數據
相關文章
相關標籤/搜索