Linux安裝Kafka

本文介紹Linux安裝Kafka。

1.Kafka簡介

Kafka也是開源與Apache開源基金會的項目，由Scala和Java編寫。Kafka是一種高吞吐量的分佈式發佈訂閱消息系統。

在百度百科是這樣介紹的：

Kafka是由Apache軟件基金會開發的一個開源流處理平臺，由Scala和Java編寫。Kafka是一種高吞吐量的分佈式發佈訂閱消息系統，它能夠處理消費者規模的網站中的全部動做流數據。 這種動做（網頁瀏覽，搜索和其餘用戶的行動）是在現代網絡上的許多社會功能的一個關鍵因素。 這些數據一般是因爲吞吐量的要求而經過處理日誌和日誌聚合來解決。 對於像Hadoop的同樣的日誌數據和離線分析系統，但又要求實時處理的限制，這是一個可行的解決方案。Kafka的目的是經過Hadoop的並行加載機制來統一線上和離線的消息處理，也是爲了經過集羣來提供實時的消息。

Kafka官網地址爲：kafka.apache.org/，感興趣的能夠多多查看官網文檔。

2.準備工做

2.1 安裝環境

本文所安裝的Kafka爲2.10版本，Linux系統版本爲CentOS 7.2，使用Zookeeper是Kafka自帶的，安裝目錄爲/usr/local/software/。

2.2 準備工具

1.Java

Kafka是依賴Java環境運行，因此須要在Linux系統內安裝Java環境。

2.安裝Kafka

步驟大體分爲以下幾步：

2.1 下載Kafka

wget http://labfile.oss.aliyuncs.com/courses/859/kafka_2.10-0.10.2.1.tgz
複製代碼

2.2 解壓Kafka

tar -zxvf kafka_2.10-0.10.2.1.tgz 
複製代碼

2.3 進入配置文件目錄

cd /usr/local/software/kafka_2.10-0.10.2.1/config
複製代碼

2.4 修改配置文件server.properties，添加下面內容：

broker.id=0
port=9092 #端口號
host.name=172.30.0.9 #服務器IP地址，修改成本身的服務器IP
log.dirs=/usr/local/logs/kafka #日誌存放路徑，上面建立的目錄
zookeeper.connect=localhost:2181 #zookeeper地址和端口，單機配置部署，localhost:2181
複製代碼

2.5 編寫啓動腳本

vi kafkastart.sh
複製代碼

#啓動zookeeper
/usr/local/software/kafka_2.10-0.10.2.1/bin/zookeeper-server-start.sh /usr/local/software/kafka_2.10-0.10.2.1/config/zookeeper.properties &
#等3秒後執行
sleep 3 
#啓動kafka
/usr/local/software/kafka_2.10-0.10.2.1/bin/kafka-server-start.sh /usr/local/software/kafka_2.10-0.10.2.1/config/server.properties &
複製代碼

2.6 編寫關閉腳本

vi kafkastop.sh
複製代碼

#關閉zookeeper
/usr/local/software/kafka_2.10-0.10.2.1/bin/zookeeper-server-stop.sh /usr/local/software/kafka_2.10-0.10.2.1/config/zookeeper.properties &
#等3秒後執行
sleep 3 
#關閉kafka
/usr/local/software/kafka_2.10-0.10.2.1/bin/kafka-server-stop.sh /usr/local/software/kafka_2.10-0.10.2.1/config/server.properties &
複製代碼

2.7 啓動腳本，關閉腳本賦予權限

chmod 777 kafkastart.sh
複製代碼

chmod 777 kafkastop.sh
複製代碼

3.安裝問題

安裝Kafka過程當中沒有遇到太大的問題，一路輸入就經過了。

4.可視化管理頁面安裝

kafka官網地址：github.com/linkedin/ka…，運行比較簡單，只是一個可執行jar（KafkaOffsetMonitor-assembly-0.2.1.jar）。

4.1 編寫啓動腳本

java -Xms128M -Xmx128M -Xss1024K -XX:PermSize=128m -XX:MaxPermSize=128m -cp KafkaOffsetMonitor-assembly-0.2.1.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb --zk localhost:2181 --port 8787 --refresh 10.seconds --retain 7.days 1>/usr/local/software/kafka-monitor/stdout.log 2>/usr/local/software/kafka-monitor/stderr.log &
複製代碼

5.總結

以上安裝都是通過本人親測可用的，安裝過程仍是比較簡單。