kafka消費者會出現的一些問題和解決辦法

1.消費者位移提交失敗導致數據一直重複消費   原因：kafka的consumer消費數據時首先會從broker裏讀取一批消息數據進行處理，處理完成後再提交offset。而我們項目中的consumer消費能力比較低，導致取出的一批數據在session.timeout.ms時間內沒有處理完成，自動提交offset失敗，然後kafka會重新分配partition給消費者，消費者又重新消費之前的一批數據

>>阅读原文<<