【kafka】消費組消費主題

消費組消費主題特徵：

• 同一個消費組裏面消費者不能消費同一個分區
• 不一樣消費組裏面的消費者能夠消費同一個分區，相互獨立互不干擾
• 當消費組中的消費者數量大於分區數量時，會存在浪費。由於有消費者分配不到partition進行消費。
• 在消費者不飽和的狀況下，一個消費者是能夠去消費多個分區的數據的 。

實驗一:同一個消費組裏面消費者不能消費同一個分區

• 建立topic（三個分區）

  kafka-topics.sh --create --topic topic002 --zookeeper 172.21.0.2:2181,172.21.0.3:2181,172.21.0.4:2181/kafka --partitions 3 --replication-factor 3

• 建立生產者

  kafka-console-producer.sh --topic topic002 --bootstrap-server 172.21.0.5:9092,172.21.0.6:9092,172.21.0.7:9092

• 建立同一個消費組（test-group01）中的三個消費者，進行主題消費

kafka-console-consumer.sh --topic topic002  --group test-group01 --bootstrap-server 172.21.0.5:9092,172.21.0.6:9092,172.21.0.7:9092

生產者生產投遞9條消息，能夠9條消息被投遞到3不一樣分區，而後三個分區對應三個不一樣的消費者進行消費。

實驗二：不一樣消費組裏面的消費者能夠消費同一個分區，相互獨立互不干擾。

在實驗一中已經新建了一個test-group01的消費組，對應三個消費者。如今建立一個新的test-group02消費組，對應2個消費者。

kafka-console-consumer.sh --topic topic002  --group test-group02 --bootstrap-server 172.21.0.5:9092,172.21.0.6:9092,172.21.0.7:9092

能夠看到 test-group01和test-group02 均可以消費同一個topic，且test-group01中的一個消費者跟test-group02中的一個消費者能夠消費同一個分區，相互獨立互不干擾。