kafka搭建與應用案例

目錄

• 應用場景
• 集羣搭建-kafka
• kafka-API
• kafka-Flume 整合
• Kafka 架構及高性能

應用場景

緩衝做用！！！

# 隊列Queue 
一種特殊的線性表（數據元素首尾相接），特殊之處在於只容許在首部刪除元素和在尾部追加元素（FIFO）。入隊、出隊。
# 消息隊列MQ
消息+隊列，保存消息的隊列。消息的傳輸過程當中的容器；主要提供生產、消費接口供外部調用作數據的存儲和獲取。

集羣搭建-kafka

• 搭建zookeeper
• kafka下載
• 上傳並解壓

cd /export/softwares
tar -zxvf kafka_2.12-2.5.0.tgz -C ../servers/
- 重命名
mv kafka_2.12-2.5.0 kafka

• 修改配置

mkdir -p /opt/data/kafka
# 打開 vim  server.properties
broker.id=11 # 當前kafka實例的id，必須爲整數，一個集羣中不可重複
log.dirs=/opt/data/kafka # 生產到kafka數據存儲的目錄，目錄須要手動建立
zookeeper.connect=node01:2181,node02:2181,node03:2181/kafka # kafka數據在zk中的存儲目錄

• 安裝包分發並修改 broker.id 以及 添加kafka 數據存儲目錄

scp -r /export/servers/kafka/ node02:$PWD
scp -r /export/servers/kafka/ node03:$PWD

• 修改配置文件中的 broker.id

broker.id=12
broker.id=13

kafka 操做

cd /export/servers/kafka/bin
# 運行 kafka 服務
kafka-server-start.sh ../config/server.properties &

# 建立主題（指定分區和副本數量）
kafka-topics.sh --zookeeper node01:2181 --create --replication-factor 1 --partitions 1  --topic testBB

# 修改topic
kafka-topics.sh --zookeeper node01:2181 --alter --topic covid19_wz --partitions 3

# 列出全部主題
# bin/kafka-topics.sh --zookeeper node01:2181 --list

# 查看主題詳情
[root@192 kafka_2.12-2.2.1]# bin/kafka-topics.sh --zookeeper localhost:2181 --describe --topic testAA

# 刪除主題
kafka-topics.sh  --delete --zookeeper node01:2181  --topic testBB

# 啓動消費端接收消息
bin/kafka-console-consumer.sh --bootstrap-server node01:9092 --topic testBB

--bootstrap-server 指定了鏈接kafka集羣的地址
--topic 指定了發送消息時的主題

# 啓動生產端發佈消息
# 發佈消息
bin/kafka-console-producer.sh --broker-list node01:9092 --topic testAA

--broker-list 指定了鏈接kafka集羣的地址
--topic 指定了發送消息時的主題

kafka-API

kafka-Flume 整合

Kafka 架構及高性能