zookeeper kafka集羣安裝配置

轉至元數據結尾

zookeeper kafka集羣安裝配置

轉至元數據起始

節點信息

節點主機	節點應用	節點IP
kafka01	zookeeper kafka	1.1.1.23
kafka02	zookeeper kafka	1.1.1.24
kafka03	zookeeper kafka	1.1.1.27

下載JDK

若是沒有下載Java，請經過訪問如下連接並下載最新版原本下載最新版本的JDK。http://www.oracle.com/technetwork/java/javase/downloads/index.html

在全部節點上安裝JDK

#rpm -ivh jdk-8u74-linux-x64.rpm

檢查JDK版本

ZooKeeper框架安裝

在計算機上安裝ZooKeeper框架，請訪問如下連接並下載最新版本的ZooKeeper。http://zookeeper.apache.org/releases.html

在全部節點上使用如下命令提取tar文件

#tar -zxvf zookeeper-3.4.13.tar.gz -C /usr/local/ #cd /usr/local/zookeeper-3.4.13/conf/ #cp zoo_sample.cfg zoo.cfg

編譯配置文件並保存退出

#vim zoo.cfg tickTime=2000 initLimit=10 syncLimit=5 dataDir=/data/zookeeper/datadir dataLogDir=/data/zookeeper/datalogdir clientPort=2181 maxClientCnxns=300 autopurge.snapRetainCount=3 autopurge.purgeInterval=1 server.1=kafka01:2888:3888 server.2=kafka02:2888:3888 server.3=kafka03:2888:3888

建立zk所須要的目錄路徑

#mkdir -pv /data/zookeeper/datadir #mkdir -pv /data/zookeeper/datalogdir

建立zk集羣所須要的編號文件,根據zoo.cfg配置文件中server.1這個編號分別在不一樣服務器上建立

[root@kafka01 ~]#vim /data/zookeeper/datadir/myid 1

在kafka02服務器上編譯myid文件

[root@kafka02 ~]#vim /data/zookeeper/datadir/myid 2

在kafka03服務器上編譯myid文件

[root@kafka03 ~]#vim /data/zookeeper/datadir/myid 3

啓動ZooKeeper服務器

#cd /usr/local/zookeeper-3.4.13 #bin/zkServer.sh start

執行此命令後，您將獲得以下所示的響應 

中止Zookeeper服務器

鏈接服務器並執行全部操做後，能夠使用如下命令中止zookeeper服務器 

#cd /usr/local/zookeeper-3.4.13 #bin/zkServer.sh stop

Apache Kafka安裝

要在您的機器上安裝Kafka，請點擊如下連接 http://mirrors.hust.edu.cn/apache/kafka/2.1.1/

在全部節點上使用如下命令提取tar文件

#tar -zxvf kafka_2.11-2.1.1.tgz -C /usr/local/ #cd /usr/local/kafka_2.11-2.1.1/config #cp server.properties{,.bak}

建立kafka所須要的目錄路徑

#mkdir -pv /data/kafka/kafka-logs

編譯配置文件並保存退出

#vim server.properties broker.id=1 (每臺服務器根據對應的編號進行修改) listeners=PLAINTEXT://1.1.1.23:9092（每臺修改主機自帶IP ） num.network.threads=3 num.io.threads=8 socket.send.buffer.bytes=102400 socket.receive.buffer.bytes=102400 socket.request.max.bytes=104857600 log.dirs=/data/kafka/kafka-logs num.partitions=3 num.recovery.threads.per.data.dir=1 offsets.topic.replication.factor=1 transaction.state.log.replication.factor=1 transaction.state.log.min.isr=1 log.retention.hours=48 log.segment.bytes=1073741824 log.retention.check.interval.ms=300000 zookeeper.connect=kafka01:2181,kafka02:2181,kafka03:2181 zookeeper.connection.timeout.ms=6000 group.initial.rebalance.delay.ms=3000

啓動服務器

經過給出如下命令來啓動服務器 

#cd /usr/local/kafka_2.11-2.1.1/ #bin/kafka-server-start.sh config/server.properties > /dev/null 2>&1 &

中止服務器

能夠使用如下命令中止服務器

#cd /usr/local/kafka_2.11-2.1.1/ #bin/kafka-server-stop.sh config/server.properties