CentOS6安裝各類大數據軟件 第五章：Kafka集羣的配置

相關文章連接

CentOS6安裝各類大數據軟件 第一章：各個軟件版本介紹

CentOS6安裝各類大數據軟件 第二章：Linux各個軟件啓動命令

CentOS6安裝各類大數據軟件 第三章：Linux基礎軟件的安裝

CentOS6安裝各類大數據軟件 第四章：Hadoop分佈式集羣配置

CentOS6安裝各類大數據軟件 第五章：Kafka集羣的配置

CentOS6安裝各類大數據軟件 第六章：HBase分佈式集羣的配置

CentOS6安裝各類大數據軟件 第七章：Flume安裝與配置

CentOS6安裝各類大數據軟件 第八章：Hive安裝和配置

CentOS6安裝各類大數據軟件 第九章：Hue大數據可視化工具安裝和配置

CentOS6安裝各類大數據軟件 第十章：Spark集羣安裝和部署

1. Kafka集羣的安裝準備

1.1. 選擇安裝Kafka的版本

因爲kafka是scala語言編寫的，基於scala的多個版本，kafka發佈了多個版本。
其中2.11是推薦版本。

1.2. 下載並解壓安裝包

解壓文件，刪除以前的的安裝記錄，並重命名

tar -zxvf kafka_2.11-1.0.0.tgz -C /export/servers/
cd /export/servers/
rm -rf /export/servers/kafka
rm -rf /export/logs/kafka/
rm -rf /export/data/kafka
mv kafka_2.11-1.0.0 kafka

2. 查看目錄及修改配置文件

2.1. 查看目錄

2.2. 修改配置文件

進入配置目錄，查看server.properties文件
能夠經過cat server.properties |grep -v "#"目錄過濾掉帶有#的註釋行數
修改三個地方
1）Borker.id
2）數據存放的目錄，注意目錄若是不存在，須要新建下。
3）zookeeper的地址信息

# broker.id 標識了kafka集羣中一個惟一broker。
broker.id=0

# 存放生產者生產的數據 數據通常以topic的方式存放
# 建立一個數據存放目錄 /export/data/kafka  ---  mkdir -p /export/data/kafka
log.dirs=/export/data/kafka

# 配置zk的信息
zookeeper.connect=zk01:2181,zk02:2181,zk03:2181

3. 分發配置文件及修改brokerid

將修改好的配置文件，分發到其餘服務器上。
注意：若是在其餘服務器上原先安裝過kafka，需先刪除以往的安裝記錄。

rm -rf /export/servers/kafka
rm -rf /export/logs/kafka/
rm -rf /export/data/kafka

分發安裝包：

scp -r /export/servers/kafka/ node02:/export/servers/
scp -r /export/servers/kafka/ node03:/export/servers/

修改其餘服務器上的broker.id

4. 啓動Kafka集羣

cd /export/servers/kafka/bin
./kafka-server-start.sh /export/servers/kafka/config/server.properties

5. 測試kafka集羣

5.1. 建立一個topic

kafka-topics.sh --create --zookeeper node01:2181 --replication-factor 1 --partitions 1 --topic my-kafka-topic

#執行結果：
Created topic "my-kafka-topic".

參數說明：

•  zookeeper：參數是必傳參數，用於配置 Kafka 集羣與 ZooKeeper 鏈接地址。至少寫一個。
•  partitions：參數用於設置主題分區數，該配置爲必傳參數。
•  replication-factor：參數用來設置主題副本數 ，該配置也是必傳參數。
•  topic：指定topic的名稱。

5.2. 查看該kafka集羣中的topic

kafka-topics.sh --list --zookeeper node01.ouyang.com:2181

__consumer_offsets
my-kafka-topic

5.3. 建立一個生產者

bin/kafka-console-producer.sh --broker-list node01.ouyang.com:9092,node02.ouyang.com:9092,node02.ouyang.com:9092 --topic test

5.4. 建立一個消費者

bin/kafka-console-consumer.sh --zookeeper node01.ouyang.com:2181,node02.ouyang.com:2181,node03.ouyang.com:2181 --topic test --from-beginning（老版本）
bin/kafka-console-consumer.sh --bootstrap-server node01.ouyang.com:9092,node02.ouyang.com:9092,node03.ouyang.com:9092 --topic test --from-beginning（新版本）

6. 查看Kafka集羣（需藉助外部工具kafka-manager）

Kafka Manager 由 yahoo 公司開發，該工具能夠方便查看集羣 主題分佈狀況，同時支持對 多個集羣的管理、分區平衡以及建立主題等操做。
源碼託管於github：https://github.com/yahoo/kafka-manager

6.1. 上傳Kafka-manager安裝包而且解壓

tar -xvf kafka-manager-1.3.3.17.tar.gz -C /export/servers/
cd /export/servers/kafka-manager-1.3.3.17/conf

6.2. 修改配置文件

/kafka-manager/conf下的application.conf文件
#在配置文件中新增以下配置，http訪問服務的端口
http.port=19000
#修改爲本身的zk機器地址和端口
kafka-manager.zkhost1s="node01:2181"
#保存退出

6.3. 啓動服務

cd /export/servers/kafka-manager-1.3.3.17/bin
./kafka-manager -Dconfig.file=../conf/application.conf

6.4. 製做一鍵啓動腳本

步驟一：配置該文件夾的環境變量和一鍵啓動文件的環境變量
export KAFKA_MANAGE_HOME= /export/servers/kafka-manager
export PATH=${KAFKA_MANAGE_HOME}/bin:$PATH
export PATH=${ZK_ONEKEY}/kafka-manager:$PATH
步驟二：編寫一鍵啓動腳本
vim startkafkamanager.sh
nohup kafka-manager -Dconfig.file=${KAFKA_MANAGE_HOME}/conf/application.conf >/dev/null 2>&1 &
chmod +x start-kafka-manager.sh
步驟三：從新加載環境變量，並一鍵啓動
source /etc/profile
startkafkamanager.sh
步驟四：檢查是否啓動成功
打開瀏覽器，輸入地址：http://node01:19000/，便可看到kafka-manage管理界面。

6.5. kafka-manager的使用

6.5.1. 添加Cluster

進入管理界面，是沒有顯示Cluster信息的，須要添加後才能操做。

　　　　1. 添加 Cluster：

　　　　　　

　　　　2. 輸入Cluster Name、ZooKeeper信息、以及Kafka的版本信息（這裏最高只能選擇1.0.0）。

　　　　　　

　　　　3. 點擊Save按鈕保存。

　　　　　　

6.5.2. 在kafka-manager界面查看各主鍵的信息

　　　　1. 查看kafka的信息

　　　　　　

　　　　2. 查看Broker信息

　　　　　　

　　　　3. 查看Topic列表

　　　　　　

　　　　4. 查看單個topic信息以及操做

　　　　　　

　　　　5. 優化副本選舉

　　　　　　

　　　　6. 查看消費者信息