Kafka集羣搭建

 

KafKa的集羣搭建

準備3臺虛擬機

192.168.140.128 kafka01

192.168.140.129 kafka02

192.168.140.130 kafka03

 

初始化環境

---

 

這裏使用的是root帳戶

　　1）須要安裝jdk、zookeeper

Jdk的安裝請點擊這裏(待補充)

Zookeeper的安裝請點擊這裏（待補充）

　　2）kafka的案例安裝目錄

       安裝包存放的目錄：/export/software

　　安裝程序存放的目錄：/export/servers

　　數據目錄：/export/data

　　日誌目錄：/export/logs

mkdir -p /export/servers/

mkdir -p /export/software /

mkdir -p /export/data /

mkdir -p /export/logs /

準備安裝包

---

這裏使用的是2.11版本

Tgz包請點擊這裏下載(待補充)

下載安裝包及解壓

---

tar -zxvf kafka_2.11-1.0.0.tgz -C /export/servers/
cd /export/servers/
rm -rf /export/servers/kafka
rm -rf /export/logs/kafka/
rm -rf /export/data/kafka
mv kafka_2.11-1.0.0 kafka

1） 解壓文件

2） 刪除以前的安裝記錄

3） 重命名

查看目錄及修改配置文件

---

cd /export/servers/kafka_2.11-1.0.0/

linux命令:  ll

修改配置文件

進入配置目錄，查看server.properties文件

cd config/

建議使用nodepad++鏈接後進行修改(沒有的同窗使用vim)

vim cat server.properties

修改三個地方

1） Broker.id

2） 數據存放的目錄，注意目錄若是不存在，須要新建下。

3） zookeeper的地址信息

# broker.id 標識了kafka集羣中一個惟一broker。
broker.id=0
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600

# 存放生產者生產的數據 數據通常以topic的方式存放
# 建立一個數據存放目錄 /export/data/kafka  ---  mkdir -p /export/data/kafkad得有這個目錄，第一步要你建立的
log.dirs=/export/data/kafka


num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000




# zk的信息
zookeeper.connect=zk01:2181,zk02:2181,zk03:2181 zookeeper.connection.timeout.ms=6000 group.initial.rebalance.delay.ms=0

分發配置文件及修改brokerid

---

將修改好的配置文件，分發到node02，node03上。

先在node0二、node03上刪除以往的安裝記錄

rm -rf /export/servers/kafka
rm -rf /export/logs/kafka/
rm -rf /export/data/kafka

分發安裝包

scp -r /export/servers/kafka/ node02:/export/servers/
scp -r /export/servers/kafka/ node03:/export/servers/

注意修改分發後的broker id須要被修改

Kafka的使用測試

---

注意:kafka的元數據是存儲在zookeeper中，因此必須先啓動zookeeper

啓動集羣

cd /export/servers/kafka/bin
./kafka-server-start.sh /export/servers/kafka/config/server.properties

啓動成功後，在另外一個窗口輸入jps查看進程

出現Kafka進程表示成功了