kafka安裝及經常使用命令

kafka是一個開源的分佈式消息隊列

他提供可靠的集羣容錯機制，並保證故障切換時的數據完整性。

不管從性能、可靠性、易用性都強過ActiveMQ（client的API感受仍是不如ActiveMQ好用，文檔也沒有更新到最新版）

 

下面簡單記錄一下安裝步驟和經常使用命令。

 

一、安裝

http://kafka.apache.org/documentation.html

下載壓縮包並解壓

能夠解壓到 /usr/local/kafka

 

二、配置

vim conf/server.properties

#設置brokerid（從0開始，3個節點分別設爲0,1,2，不能重複）

broker.id=0

#設置data目錄，最好不要用默認的/tmp/kafka-logs

log.dirs=/usr/local/kafka/kafka-logs

#設置註冊地址（重要，默認會把本機的hostanme註冊到zk中，客戶端鏈接時須要解析該hostanme，因此這裏直接註冊本機的IP地址，避免hostname解析失敗，報錯java.nio.channels.UnresolvedAddressException或java.io.IOException: Can not resolve address）

advertised.host.name=192.168.xxx

#設置zookeeper地址

zookeeper.connect=zk1.yazuoyw.com:2181,zk2.yazuoyw.com:2181,zk3.yazuoyw.com:2181

 

三、啓動關閉

#啓動

/usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties

 

#添加開機啓動

echo '

# start kafka

/usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties

' >> /etc/rc.local

 

#關閉

/usr/local/kafka/bin/kafka-server-stop.sh

 

四、經常使用命令

#查看tocpic列表（--zookeeper指定任意一個zk節點便可，用於獲取集羣信息）

/usr/local/kafka/bin/kafka-topics.sh --zookeeper  zk1.yazuoyw.com:2181 --describe

 

#建立topic（--replication-factor表示複製到多少個節點，--partitions表示分區數，通常都設置爲2或與節點數相等，不能大於總節點數）

/usr/local/kafka/bin/kafka-topics.sh --zookeeper  zk1.yazuoyw.com:2181 --create --topic topic1 --replication-factor 2 --partitions 2

 

#發送消息（--topic 指定topic）

/usr/local/kafka/bin/kafka-console-producer.sh --broker-list kafka1.yazuoyw.com:9092,kafka2.yazuoyw.com:9092,kafka3.yazuoyw.com:9092 --topic topic1

message1

message2

 

#消費消息

/usr/local/kafka/bin/kafka-console-consumer.sh --zookeeper zk1.yazuoyw.com:2181 --topic topic1

 

#replica檢查

/usr/local/kafka/bin/kafka-replica-verification.sh --broker-list kafka1.yazuoyw.com:9092,kafka2.yazuoyw.com:9092,kafka3.yazuoyw.com:9092