Kafka重複消費數據問題

  kafka重複消費的問題,主要的原因還是在指定的時間內,沒有進行kafka的位移提交,導致根據上一次的位移重新poll出新的數據,而這個數據就是上一次沒有消費處理完全的(即沒有進行offset提交的),這也是導致kafka重複數據的原因. 改爲代碼中就是,代碼中會指定一個session-time來進行kafka數據的poll,供consumer進行消費處理..一次進行poll的數據量由maxp

>>阅读原文<<