Kafka集羣配置，以及集羣管理工具Kafka Manager的安裝

咱們使用以下三臺機器搭建Kafka集羣,此文檔在咱們已經安裝了zookeeper集羣的前提下有效，文章中zookeeper所有使用zk縮寫表示

192.168.1.96
192.168.1.45
192.168.1.34

下面操做在不說明的狀況下都是在96這臺機器上作的操做

• 下載Kafka

wget http://apache.fayea.com/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz

• 解壓Kafka

tar xzvf kafka_2.11-0.9.0.1.tgz

• 修改配置文件 config/server.properties

broker.id=0
advertised.host.name=192.168.1.96
log.dirs=/data/store/log/kafka-logs
zookeeper.connect=192.168.1.96:2181,192.168.1.45:2181,192.168.1.34:2181/kafka
一、 broker.id 每臺集羣機器惟一，從0開始遞增，待咱們把kafka同步到其餘機器上以後須要修改每臺機器的這個ID
二、 以下圖所示，它的意思是咱們能夠在zookeeper.connect最後指定一個chroot地址，固然不是必須的，默認使用的是根目錄，修改這個等於指定了kafka集羣須要存儲在zk的數據目錄，可是咱們須要在集羣啓動前在zk中手動創建這樣一個目錄 

三、 advertised.host.name 配置成當前服務器的ip，若是沒有配置，默認值是java.net.InetAddress.getCanonicalHostName()當時我沒有修改這個值，在本地測試的時候出現了鏈接超時問題，並且在kafka manager裏面查看broker的ip都是localhost，修改以後則爲具體的ip地址，估計是和getCanonicalHostName()有關，這個問題留待之後考證啦.. 
四、 如何建立這個chroot路徑呢?使用以下命令鏈接到任意一臺zk服務器

bin/zkCli.sh
create /kafka ''

• 同步kafka到其餘機器上,而且修改config/server.properties裏面的broker.id,別忘記了

scp -r kafka_2.11-0.9.0.1 192.168.1.34:/data/strawbird/kafka_2.11-0.9.0.1
scp -r kafka_2.11-0.9.0.1 192.168.1.45:/data/strawbird/kafka_2.11-0.9.0.1

• 分別啓動三臺機器的kafka

bin/kafka-server-start.sh config/server.properties &

安裝Kafka Manager

git clone https://github.com/yahoo/kafka-manager
cd kafka-manager
//下面這步操做真的是要等好久，耐心等待吧，不瞞您說，我這這裏一共花了2752s，因此....呵呵噠
sbt clean dist
cd target/universal/ //在universal目錄下咱們能夠看到以下兩個文件

 

//解壓上圖中的zip文件
unzip kafka-manager-1.3.0.8.zip
cd kafka-manager-1.3.0.8
//修改conf/application.properties中科院爲kafka-manager.zkhosts的值

//啓動kafka manager
bin/kafka-manager
//啓動以後、默認啓動的端口是9000，因此咱們在瀏覽器訪問這個地址 http://192.168.1.96:9000,而後本身添加一個集羣 大體能夠看到以下的信息

參考文檔

• http://kafka.apache.org/documentation.html

本文基於署名-非商業性使用-相同方式共享 4.0許可協議發佈，歡迎轉載、使用、從新發布，但務必保留文章署名稻草鳥人(包含此訂閱號二維碼)