關於kafka從新消費數據問題

咱們在使用consumer消費數據時，有些狀況下咱們須要對已經消費過的數據進行從新消費，這裏介紹kafka中兩種從新消費數據的方法。

 

1. 修改offset

咱們在使用consumer消費的時候，每一個topic會產生一個偏移量，這個偏移量保證咱們消費的消息順序且不重複。Offest是在zookeeper中存儲的，咱們能夠設置consumer實時或定時的註冊offset到zookeeper中。咱們修改這個offest到咱們想從新消費的位置，就能夠作到從新消費了。具體修改offest的方法這裏就不詳細介紹了，想了解的能夠在個人博客kafka類中有相關文章，也能夠點擊這裏瞭解。

 

2. 經過使用不一樣的group來消費

經過不一樣的group來從新消費數據方法簡單，但咱們沒法指定咱們要重複消費哪些數據，它會從這個groupid在zookeeper註冊以後所產生的數據開始消費。這裏須要注意的是新的group是從新消費全部數據，但也並不是是topic中全部數據，它只會消費它在zookeeper註冊過以後產生的數據。咱們能夠再zookeeper客戶端中  /consumer/  目錄下查看咱們已經註冊過的groupid。咱們在使用consumer消費數據時若是指定一個新的groupid，那麼當這個consumer被執行的時候會自動註冊到zookeeper中。而這個group中的consumer以後消費到註冊以後產生的數據。

關於如何刪除在zookeeper中註冊的groupid，點擊這裏。