centos下搭建kafka集羣

一、下載安裝zookeeper

一、下載安裝包

wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.6.2/apache-zookeeper-3.6.2-bin.tar.gz

二、解壓

tar -zxvf apache-zookeeper-3.6.2-bin.tar.gz

三、改文件夾名稱，去掉版本號

mv apache-zookeeper-3.6.2-bin zookeeper

四、建立data目錄後，進入conf文件夾，修改zoo_sample.cfg

cd  zookeeper
mkdir data
cd conf/
mv zoo_sample.cfg zoo.cfg 
vi zoo.cfg

//修改兩處
（1）dataDir=/usr/local/zookeeper/data  (前面剛建立的目錄)
（2）在最後添加：
server.0=172.19.130.156:2888:3888
server.1=172.19.130.157:2888:3888
server.2=172.19.130.158:2888:3888

五、建立服務器標識

進入data目錄，建立文件myid，內容爲0

 

這裏單臺的zookeeper已經完成，先告一段落，進行kafka的安裝後再配置另兩臺並啓動集羣

 

二、下載安裝kafka

一、回到local目錄下載kafka安裝包解壓、更名

wget https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.6.0/kafka_2.12-2.6.0.tgz
tar -zxvf kafka_2.12-2.6.0.tgz
mv kafka_2.12-2.6.0 kafka

二、進入kafka目錄並修改配置文件

cd kafka/config/
vi server.properties

//須要修改三處地方
broker.id=0
listeners=PLAINTEXT://172.19.130.156:9092
zookeeper.connect=172.19.130.156:2181,172.19.130.157:2181,172.19.130.158:2181

三、配置環境變量

vi /etc/profile


//在文件最下方加上
export KAFKA_HOME=/usr/local/kafka
export ZOOKEEPER_HOME=/usr/local/zookeeper
export PATH=$PATH:${KAFKA_HOME}/bin:$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf


//更新生效
source /etc/profile

　　

三、拷貝zookeeper和kafka至另外兩臺機器

scp -r zookeeper/  root@172.19.130.157:/usr/local/
scp -r zookeeper/  root@172.19.130.158:/usr/local/

scp -r kafka/  root@172.19.130.157:/usr/local/
scp -r kafka/  root@172.19.130.158:/usr/local/

 

四、登陸第二臺服務器

一、修改配置

cd /usr/local/zookeeper/data
vi myid   //內容修改成1

cd /usr/local/kafka/config/
vi server.properties
//修改兩處 
broker.id=1 
listeners=PLAINTEXT://172.19.130.157:9092

二、配置環境變量

vi /etc/profile


//在文件最下方加上
export KAFKA_HOME=/usr/local/kafka
export ZOOKEEPER_HOME=/usr/local/zookeeper
export PATH=$PATH:${KAFKA_HOME}/bin:$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf


//更新生效
source /etc/profile

五、登陸第三臺服務器

一、修改配置

cd /usr/local/zookeeper/data
vi myid   //內容修改成2

cd /usr/local/kafka/config/
vi server.properties
//修改兩處
broker.id=2
listeners=PLAINTEXT://172.19.130.158:9092

二、配置環境變量

vi /etc/profile


//在文件最下方加上
export KAFKA_HOME=/usr/local/kafka
export ZOOKEEPER_HOME=/usr/local/zookeeper
export PATH=$PATH:${KAFKA_HOME}/bin:$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf


//更新生效
source /etc/profile

 

六、啓動zookeeper集羣

cd /usr/local/zookeeper/bin

zkServer.sh start   //3臺服務分別執行

zkServer.sh status  //查看啓動成功與否以及選舉狀態

 

七、啓動kafka集羣

cd /usr/local/kafka
./bin/kafka-server-start.sh -daemon config/server.properties