kafka0.11.0.2安裝 筆記

1、kafka
一、下載

官網地址：http://kafka.apache.org/downloads
下載：wget http://mirrors.hust.edu.cn/apache/kafka/0.11.0.2/kafka_2.11-0.11.0.2.tgz

二、解壓: tar -zxvf kafka_2.11-0.11.0.2.tgz

三、修改配置文件

在config目錄下，能夠看到不少的配置文件，修改server.properties
broker.id=0 #每一個kafka節點的惟一標識
listeners=PLAINTEXT://192.168.5.28:9092 #監聽端口 
log.dirs=/data/kafka-logs #日誌地址
zookeeper.connect=192.168.5.28:2181,192.168.5.29:2181,192.168.5.30:2181/kafka #zookeeper地址

提示：

zookeeper.connect=host:port默認存在zookeeper根目錄，若是要存在特殊目錄，須要添加chroot,如/kafka 其餘全部使用--zookeeper

四、啓動:./bin/kafka-server-start.sh config/server.properties 1>/dev/null 2>&1 &

五、測試命令
5.1 新建Topic

./bin/kafka-topics.sh --create --zookeeper 192.168.5.29:2181 --replication-factor 3 --partitions 1 --topic 30test

5.2 查看已存在Topic列表

./bin/kafka-topics.sh --list --zookeeper 192.168.5.28:2181,192.168.5.29:2181,192.168.5.30:2181

5.3 查看指定Topic狀態

./bin/kafka-topics.sh --describe  --zookeeper 192.168.5.28:2181,192.168.5.29:2181,192.168.5.30:2181 --topic 247test

5.4 查看全部topic狀態

./bin/kafka-topics.sh --describe  --zookeeper 192.168.5.28:2181,192.168.5.29:2181,192.168.5.30:2181

5.5 啓動Consumer讀取消息並輸出到標準輸出

./bin/kafka-console-consumer.sh  --zookeeper 192.168.5.28:2181,192.168.5.29:2181,192.168.5.30:2181 --from-beginning --topic 247test

5.6 寫入數據 (--broker-list 不須要使用/kafka路徑)

./bin/kafka-console-producer.sh --broker-list 192.168.5.28:9092 --topic 247test

5.7 刪除topic （設置delete.topic.enable=true）

./bin/kafka-topics.sh --delete --zookeeper 192.168.5.28:2181,192.168.5.29:2181,192.168.5.30:2181 --topic 247test

2、kafka監控工具KafkaOffsetMonitor
一、下載：wget https://github.com/quantifind...
二、新建執行腳本：vim start.sh

腳本內容：（注意zk路徑）
#!/bin/bash
java -cp KafkaOffsetMonitor-assembly-0.2.1.jar \
     com.quantifind.kafka.offsetapp.OffsetGetterWeb \
     --zk 192.168.5.28:2181,192.168.5.29:2181,192.168.5.30:2181/kafka \
     --port 8088 \
     --refresh 10.seconds \
     --retain 2.days

三、執行權限

chmod +x start.sh

四、啓動

./start.sh 1>/dev/null 2>&1 &

注：頁面默認使用的是ajax.googleapis.com的js庫源，可能會下載失敗，可修改index.html文件修改庫源爲國內庫源。

vim KafkaOffsetMonitor-assembly-0.2.1.jar  # 進入jar包
?offsetapp/index.html                      # 查找到index.html文件
Enter                                      # enter進入文件
修改成http://apps.bdimg.com/libs/angular.js/1.2.9/angular.js  # 編輯html文件
修改後保存退出便可。