centos7下kafka集羣安裝部署

應用摘要： 

Apache kafka是由Apache軟件基金會開發的一個開源流處理平臺，由Scala和Java編寫。Kafka是一種高吞吐量的

分佈式發佈訂閱消息系統，是消息中間件的一種，用於構建實時數據管道和流應用程序，很火！

　　　　　　　　　　Kafka官網：http://kafka.apache.org/

　　　　　　　　　　學習推薦  ：http://orchome.com/kafka/index

　　　　　　　　　　官網下載  ：http://kafka.apache.org/downloads

 

安裝環境：

Kafka集羣環境搭建，須要準備好一個zookeeper環境（集羣），zk集羣部署：>> 點擊這裏 <<

說明：kafka名中的2.12是Scala語言版本，後面的0.11.0.2是kafka版本，端口默認爲9092。

安裝步驟：

 

　 1.下載kafka並解壓

　　  [root@server-1 ~]# tar zxvf kafka_2.12-0.11.0.2.tgz -C /opt/ 

　　

 　　

　2. 編輯配置文件

　　進入到config目錄，編輯配置文件：server.properties

　　 [root@server-1 config]# vim server.properties 

　　

　　

　　

　　

　　其餘配置能夠保持默認，保持，退出；

　　參數說明能夠參考：http://orchome.com/12 或者 http://blog.csdn.net/lizhitao/article/details/25667831

　　一樣的操做在server-2和server-3上修改一下broker.id和host.name，再也不贅述。

 

　3. 啓動Kafka

　　切換到bin目錄中，查看相關腳本：

　　

　　

　　 [root@server-1 bin]# ./kafka-server-start.sh -daemon ../config/server.properties 　　　　// -daemon：之後臺方式啓動

　　查看9092端口狀態，確保服務已經啓動；

　　一樣的，啓動server-2和server-3:

　　 [root@server-2 bin]# ./kafka-server-start.sh -daemon ../config/server.properties 

　　 [root@server-3 bin]# ./kafka-server-start.sh -daemon ../config/server.properties 

 　　至此，kafka安裝啓動完成。

　　關閉命令： [root@server-1 bin]# ./kafka-server-stop.sh 　　　　//不帶任何參數便可

 

　4. 檢查測試

　　　　在上一篇部署zookeeper集羣的時候提到鏈接kafka使用的時候，裏面除了zookeeper以外還有其餘內容，來查看一下。

　　登陸zookeeper（切換到zk的bin目錄下），先鏈接zk：

　　 [root@server-1 bin]# ./zkCli.sh -server 192.168.1.21:2181 

　[zk: 192.168.1.21:2181(CONNECTED) 2] ls /          

　cluster                    controller                 controller_epoch           brokers
　zookeeper                  admin                      isr_change_notification    consumers
　latest_producer_id_block   config
　[zk: 192.168.1.21:2181(CONNECTED) 2] ls /brokers
　[ids, topics, seqid]
　[zk: 192.168.1.21:2181(CONNECTED) 3] ls /brokers/ids
　[1, 2, 3]
　[zk: 192.168.1.21:2181(CONNECTED) 4] 

　　說明：zookeeper集羣建好以後，經過「ls /」出來的只有zookeeper，鏈接kafka使用後，/ 下面多了很多東西，其中經過查看/brokers/ids能夠

　　　　　發現已經檢查到了已經安裝的三臺kafka的broker.id[1,2,3]。

　

　具體Kafka常見操做見下一篇：kafka命令行常見使用　

 

結束.