簡單搭建 Apache Kafka 分佈式消息系統

早先都是用的基於 JMS 規範的消息系統, 像 ActiveMQ, IBM MQSeries 等. 隨着互聯網的發展, 大約是要適應當今大數據, 高可用性, 高效的需求, 因而誕生了 Apache Kafka 這一新時代的分佈式消息系統. Apache Kafka 也是發佈-訂閱式的消息系統, 用 Scala 語言寫的, 它最初由 LinedIn 開發並貢獻到 Apache 基金會.

Kafka 的集羣實質是依賴於 ZooKeeper 的集羣來協同管理, 因此這裏能夠參照以前的 ZooKeeper 快速搭建與體驗 來搭建一個 ZooKeeper 集羣(其實這是一個僞集羣, 實際產品中應該把 ZooKeeper 集羣分佈在不一樣的機器上).

本文主要是參考官方的 Kafka Quickstart 來快速體驗 Kafka 消息系統, 下載的 Kafka 自帶了 ZooKeeper, 默認只啓動了一個  ZooKeeper 節點. 如需 ZooKeeper 集羣能夠不依賴於 Kafka 自帶的 ZooKeeper 而單獨搭建.

下面開始演示創建一個最簡單的 Kafka 系統

 閱讀全文 >>