Kafka分區原理簡圖

Kafka分區原理簡圖

最近在用kafka做爲消費隊列，看的網上對分區的工做原理都是文字描述比較多，因此特意畫了簡圖分享出來

1. Kafka寫入數據是隨機寫入某一個分區，每一個分區內的數據是按照順序的，以下圖，每一個分區的入庫的數量並不一致
2. Kafka消費時，若是隻有一個進程，那麼只能消費某一個分區的數據（隨機監聽某一個），當前分區消費完成後纔會經過reblance過程，選擇其餘分區去消費。（若是當前分區一直有數據，那麼其餘分區的數據就會延遲消費）
3. 爲了減小延遲消費和提高消費效率，建議消費的進程數和分區數保持一致，這樣就不會有reblance過程，數據無論落到哪個分區，都能被當即消費到