kafka的初次配置

1、安裝啓動 1 首先官網下載kafka安裝包。

二、 解壓並進入Kafka目錄，筆者：D:\Kafka\kafka_2.12-0.11.0.0

三、 進入config目錄找到文件server.properties並打開

四、 找到並編輯log.dirs=D:\Kafka\kafka_2.12-0.11.0.0\kafka-logs

五、 找到並編輯zookeeper.connect=localhost:2181

六、 Kafka會按照默認，在9092端口上運行，並鏈接zookeeper的默認端口：2181

七、 進入Kafka安裝目錄D:\Kafka\kafka_2.12-0.11.0.0，按下Shift+右鍵，選擇「打開命令窗口」選項，打開命令行，輸入：

（1）    啓動zookeeper。

                .\bin\windows\zookeeper-server-start.bat .\config\zookeeper.properties

       （2）   啓動kafka服務

                .\bin\windows\kafka-server-start.bat .\config\server.properties
複製代碼

若是遇到以下錯誤：

一、錯誤: 找不到或沒法加載主類 Files\Java\jdk1.8.0_1.0.1\lib\dt.jar;C:\Program 

 解決：在kafka安裝目錄中找到bin\windows目錄中的kafka-run-class.bat中，加「」號，以下
複製代碼

修改前：

set COMMAND=%JAVA% %KAFKA_HEAP_OPTS% %KAFKA_JVM_PERFORMANCE_OPTS% %KAFKA_JMX_OPTS% %KAFKA_LOG4J_OPTS% -cp %CLASSPATH% %KAFKA_OPTS% %*

修改後：

set COMMAND=%JAVA% %KAFKA_HEAP_OPTS% %KAFKA_JVM_PERFORMANCE_OPTS% %KAFKA_JMX_OPTS% %KAFKA_LOG4J_OPTS% -cp "%CLASSPATH%" %KAFKA_OPTS% %*

另外：CLASSPATH環境要配正確，

JAVA_HOME C:\Program Files\Java\jdk1.8.0_101

CLASSPATH .;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar; （注意頭部 .；）

2、簡單介紹 1.主要功能

根據官網的介紹，ApacheKafka®是一個分佈式流媒體平臺，它主要有3種功能：

  a.發佈和訂閱消息流，這個功能相似於消息隊列，這也是kafka歸類爲消息隊列框架的緣由。

  b.以容錯的方式記錄消息流，kafka以文件的方式來存儲消息流。

  c.能夠再消息發佈的時候進行處理。

2.使用場景

a.在系統或應用程序之間構建可靠的用於傳輸實時數據的管道，消息隊列功能。

    b.構建實時的流數據處理程序來變換或處理數據流，數據處理功能。
複製代碼

3.詳細介紹

Kafka目前主要做爲一個分佈式的發佈訂閱式的消息系統使用，下面簡單介紹一下kafka的基本機制

消息傳輸過程:

Producer即生產者，向Kafka集羣發送消息，在發送消息以前，會對消息進行分類，即Topic，上圖展現了兩個producer發送了分類爲topic1的消息，另一個發送了topic2的消息。

Topic即主題，經過對消息指定主題能夠將消息分類，消費者能夠只關注本身須要的Topic中的消息

Consumer即消費者，消費者經過與kafka集羣創建長鏈接的方式，不斷地從集羣中拉取消息，而後能夠對這些消息進行處理。