10. 安裝Kafka集羣

Kafka簡介

---

Kafka是一種高吞吐量的分佈式發佈訂閱消息系統，它能夠處理消費者在網站中的全部動做流數據。目的是經過Hadoop的並行加載機制來統一線上和離線的消息處理，也是爲了經過集羣來提供實時的消息。

集羣規劃

---

	hadoop151	hadoop152	hadoop153
Kafka	√	√	√

Kafka安裝

---

1. 解壓到指定位置並重命名

   [hadoop@hadoop151 software]$ tar -zxvf kafka_2.11-0.11.0.2.tgz -C /opt/module/
   [hadoop@hadoop151 module]$ mv kafka_2.11-0.11.0.2/ kafka

2. 進入「kafka/config」目錄下，修改server.properties文件

   broker.id=0
   delete.topic.enable=true
   log.dirs=/opt/module/kafka/logs
   zookeeper.connect=hadoop151:2181,hadoop152:2181,hadoop153:2181

3. 將kafka文件分發到其餘集羣上後修改broker.id值，使得集羣中的每一個broker.id都是惟一值。
   
   

4. 啓動kafka集羣（首先要啓動hadoop和zookeeper）

   [hadoop@hadoop151 kafka]$ JMX_PORT=9988 bin/kafka-server-start.sh config/server.properties &
   [hadoop@hadoop152 kafka]$ JMX_PORT=9988 bin/kafka-server-start.sh config/server.properties &
   [hadoop@hadoop153 kafka]$ JMX_PORT=9988 bin/kafka-server-start.sh config/server.properties &

   

安裝Kafka Manager

Kafka Manager是yahoo的一個Kafka監控管理項目。

1. 解壓並重命名

   [hadoop@hadoop151 software]$ unzip kafka-manager-1.3.3.22.zip -d /opt/module/
   [hadoop@hadoop151 module]$ mv kafka-manager-1.3.3.22/ kafka-manager

2. 修改「kafka-manager/conf」下的「application.conf」文件

   kafka-manager.zkhosts="hadoop151:2181,hadoop152:2181,hadoop153:2181"

3. 啓動kafka-manager

   [hadoop@hadoop151 kafka-manager]$ nohup bin/kafka-manager   -Dhttp.port=7456 >/opt/module/kafka-manager/start.log 2>&1 &

4. 打開瀏覽器，輸入網址"http://hadoop151:7456/"
   
   
   
5. 新建集羣。
   
   
6. 設置集羣名稱、zookeeper、kafka版本並啓動JMX輪詢
   
   
7. 保存後便可查看集羣狀態。（若以前啓動flume採集數據，此處的topics應該是3）