【原】無腦操做：Windows下搭建Kafka運行環境

Kafka是一種高吞吐量的分佈式發佈訂閱消息系統

一、優勢：
① 經過磁盤數據結構提供消息的持久化，這種結構對於即便數以TB的消息存儲也可以保持長時間的穩定性能。
② 高吞吐量：即便是很是普通的硬件Kafka也能夠支持每秒數百萬的消息。
③ 支持經過Kafka服務器和消費機集羣來分區消息。
④ 支持Hadoop並行數據加載。

二、基本概念：

① Broker：Kafka集羣包含的一個或多個服務器
② Topic：每條發佈到Kafka集羣的消息都有一個類別主題。（物理上不一樣Topic的消息分開存儲，邏輯上一個Topic的消息雖然保存於一個或多個broker上但用戶只需指定消息的Topic便可生產或消費數據而沒必要關心數據存於何處）
③ Partition：分區，每一個Topic包含一個或多個Partition
④ Producer：負責發佈消息到Kafka broker
⑤ Consumer：消息消費者，向Kafka broker讀取消息的客戶端
⑥ Consumer Group：每一個Consumer屬於一個特定的Consumer Group（可爲每一個Consumer指定group name，若不指定group name則屬於默認的group）

三、環境準備：

① Windows 7 64位旗艦版

② Zookeeper文件一份zookeeper-3.4.13.tar.gz（下載地址：http://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/），下載完畢後解壓至D:\Kafka

③ Kafka文件一份kafka_2.12-2.1.1.tgz（下載地址：http://kafka.apache.org/downloads.html），下載完畢後解壓至D:\Kafka

四、配置設定：

① 環境變量的系統變量中添加ZOOKEEPER_HOME=D:\Kafka\zookeeper-3.4.11，系統變量path中追加;%ZOOKEEPER_HOME%\bin

② D:\Kafka\zookeeper-3.4.13\conf目錄中，zoo_sample.cfg文件更名爲zoo.cfg

③ zoo.cfg文件中12行的dataDir=/tmp/zookeeper，修改成：dataDir=D:\\Kafka\\zookeeper-3.4.13\\tmp

④ D:\Kafka\kafka_2.12-2.1.1\config目錄中，找到server.properties文件，60行的log.dirs=/tmp/kafka-logs，修改成：log.dirs=D:\\Kafka\\kafka_2.12-2.1.1\\kafka-logs

五、測試運行：

① 啓動Zookeeper

在D:\Kafka\zookeeper-3.4.13\bin目錄下，找到zkServer.cmd文件，雙擊執行，看到以下提示，說明Zookeeper正常啓動

注意：啓動後不要關閉窗口

② 啓動Kafka

在D:\Kafka\kafka_2.12-2.1.1目錄下，shift+鼠標右鍵，找到"在此處打開命令窗口"，輸入：

.\bin\windows\kafka-server-start.bat .\config\server.properties

看到以下提示，說明Kafka正常啓動

注意：啓動後不要關閉窗口

③ 建立及查看Topic

在D:\Kafka\kafka_2.12-2.1.1目錄下，shift+鼠標右鍵，找到"在此處打開命令窗口"，輸入：

.\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

看到以下提示，說明建立成功

想查看建立過的Topic，能夠繼續輸入：

.\bin\windows\kafka-topics.bat --list --zookeeper localhost:2181

看到以下提示，即列出建立過的Topic列表

④ 建立生產者

在D:\Kafka\kafka_2.12-2.1.1目錄下，shift+鼠標右鍵，找到"在此處打開命令窗口"，輸入：

.\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic test

看到以下提示，說明等待生產

⑤ 建立消費者

在D:\Kafka\kafka_2.12-2.1.1目錄下，shift+鼠標右鍵，找到"在此處打開命令窗口"，輸入：

.\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning

看到以下提示，說明等待消費

⑥ 在生產者窗口中輸入內容模擬生產，能夠在消費者窗口中看到內容