圖解 Kafka，畫得太好了！

Kafka 是主流的消息流系統，其中的概念仍是比較多的，下面經過圖示的方式來梳理一下 Kafka 的核心概念，以便在咱們的頭腦中有一個清晰的認識。

基礎

Kafka (Kafka是什麼，主要應用在什麼場景?)是一套流處理系統，可讓後端服務輕鬆的相互溝通，是微服務架構中經常使用的組件。

生產者消費者

生產者服務 Producer 向 Kafka 發送消息，消費者服務 Consumer 監聽 Kafka 接收消息。

一個服務能夠同時爲生產者和消費者。

Topics 主題

Topic 是生產者發送消息的目標地址，是消費者的監聽目標。

一個服務能夠監聽、發送多個 Topics。

Kafka 中有一個【consumer-group（消費者組）】的概念。

這是一組服務，扮演一個消費者。

若是是消費者組接收消息，Kafka 會把一條消息路由到組中的某一個服務。

這樣有助於消息的負載均衡，也方便擴展消費者。

Topic 扮演一個消息的隊列。

首先，一條消息發送了。

而後，這條消息被記錄和存儲在這個隊列中，不容許被修改。

接下來，消息會被髮送給此 Topic 的消費者。

可是，這條消息並不會被刪除，會繼續保留在隊列中。

繼續發送消息。

像以前同樣，這條消息會發送給消費者、不容許被改動、一直呆在隊列中。

（消息在隊列中能呆多久，能夠修改 Kafka 的配置）

Partitions 分區

上面 Topic 的描述中，把 Topic 看作了一個隊列，實際上，一個 Topic 是由多個隊列組成的，被稱爲【Partition（分區）】。

這樣能夠便於 Topic 的擴展。

生產者發送消息的時候，這條消息會被路由到此 Topic 中的某一個 Partition。

消費者監聽的是全部分區。

生產者發送消息時，默認是面向 Topic 的，由 Topic 決定放在哪一個 Partition，默認使用輪詢策略。

也能夠配置 Topic，讓同類型的消息都在同一個 Partition。

例如，處理用戶消息，可讓某一個用戶全部消息都在一個 Partition。

例如，用戶1發送了3條消息：A、B、C，默認狀況下，這3條消息是在不一樣的 Partition 中（如 P一、P二、P3）。

在配置以後，能夠確保用戶1的全部消息都發到同一個分區中（如 P1）。

這個功能有什麼用呢？

這是爲了提供消息的【有序性】。

消息在不一樣的 Partition 是不能保證有序的，只有一個 Partition 內的消息是有序的。

架構

Kafka 是集羣架構的，ZooKeeper是重要組件(不過在2.8版本以後就丟棄了Zookeeper：再見 ZooKeeper ！)。

ZooKeeper 管理者全部的 Topic 和 Partition。

Topic 和 Partition 存儲在 Node 物理節點中，ZooKeeper負責維護這些 Node。

例如，有2個 Topic，各自有2個 Partition。

這是邏輯上的形式，但在 Kafka 集羣中的實際存儲多是這樣的：

Topic A 的 Partition #1 有3份，分佈在各個 Node 上。

這樣能夠增長 Kafka 的可靠性和系統彈性。

3個 Partition #1 中，ZooKeeper 會指定一個 Leader，負責接收生產者發來的消息。

其餘2個 Partition #1 會做爲 Follower，Leader接收到的消息會複製給Follower。

這樣，每一個 Partition 都含有了全量消息數據。

即便某個 Node 節點出現了故障，也不用擔憂消息的損壞。

Topic A 和 Topic B 的全部 Partition 分佈可能就是這樣的：

感謝閱讀，但願對你有所幫助 😃

翻譯整理自： https://timothystepro.medium....
轉自： https://blog.csdn.net/duysh/a...