知識鏈-消息中間件

消息中間件

Kafka

Kafka它本質上是一個消息系統，不一樣於傳統的企業信息隊列系統，它是以近乎實時的方式處理流經一個公司的全部數據，目前已經服務於LinkedIn、Netflix、Uber以及Verizon，併爲此創建了實時信息處理平臺。

應用場景：

1.Kafka能夠應用於消息系統，好比，當下較爲熱門的消息推送，這些消息推送系統的消息源，能夠使用Kafka做爲系統的核心組建來完成消息的生產和消息的消費。

2.網站的行跡，咱們能夠將企業的Portal，用戶的操做記錄等信息發送到Kafka中，按照實際業務需求，能夠進行實時監控，或者作離線處 理等。

3.日誌收集，相似於Flume套件這樣的日誌收集系統，但Kafka的設計架構採用push/pull，適合異構集羣，Kafka能夠批 量提交消息，對Producer來講，在性能方面基本上是無消耗的，而在Consumer端中，咱們能夠使用HDFS這類的分佈式文件存儲系統進行存儲。

架構原理：Kafka對消息的保存是根據Topic進行歸類的，由消息生產者（Producer）和消息消費者（Consumer）組成，另外，每個 Server稱爲一個Broker。對於Kafka集羣而言，Producer和Consumer都依賴於ZooKeeper來保證數據的一致性。

Kafka實戰－入門

Kafka實戰－Kafka Cluster

Kafka實戰－簡單示例