Mac 使用 docker 搭建 kafka 集羣 + Zookeeper + kafka-manager

Kafka 搭建:

創建Zookeeper容器:

這裏咱們用最簡單的方式建立一個獨立的Zookeeper節點，若是要考慮zookeeper的高可用，能夠將其作成一個集羣，最好是能有多臺機器。

$ docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper

默認的，容器內配置文件在，/conf/zoo.cfg，數據和日誌目錄默認在/data 和 /datalog，須要的話能夠將上述目錄映射到宿主機的可靠文件目錄下。

創建kafka集羣節點:

使用docker命令可快速在同一臺機器搭建多個kafka，只須要改變brokerId和端口

• 節點1:

$ docker run -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=192.168.0.102:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.0.102:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -t wurstmeister/kafka

• 節點2:

$ docker run -d --name kafka1 -p 9093:9093 -e KAFKA_BROKER_ID=1 -e KAFKA_ZOOKEEPER_CONNECT=192.168.0.102:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.0.102:9093 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9093 -t wurstmeister/kafka

• 節點3:

$ docker run -d --name kafka2 -p 9094:9094 -e KAFKA_BROKER_ID=1 -e KAFKA_ZOOKEEPER_CONNECT=192.168.0.102:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.0.102:9094 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9094 -t wurstmeister/kafka

這裏面主要設置了4個參數

KAFKA_BROKER_ID=0               
KAFKA_ZOOKEEPER_CONNECT=192.168.0.102:2181
KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.0.102:9092
KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092
複製代碼

中間兩個參數的 192.168.0.102 改成 宿主機器 的IP地址，若是不這麼設置，可能會致使在別的機器上訪問不到 kafka。

怎麼查看本機的 ip:

$ ifconfig en0

測試kafka:

• 進入kafka容器的命令行

$ docker exec -ti kafka /bin/bash

• 進入kafka所在目錄

$ cd opt/kafka_2.12-1.1.0/

建立Replication爲2，Partition爲2的topic:

$ bin/kafka-topics.sh --create --zookeeper 192.168.0.102:2181 --replication-factor 2 --partitions 2 --topic partopic

或者能夠經過 kafka-manager 建立

查看topic的狀態:

在kafka容器中的 opt/kafka_2.12-1.1.0/ 目錄下輸入

$ bin/kafka-topics.sh --describe --zookeeper 192.168.0.102:2181 --topic partopic

顯示每一個分區的Leader機器爲broker0，在broker0和1上具備備份，Isr表明存活的備份機器中存活的。 當停掉kafka1後，

$ docker stop kafka1

再查看topic狀態，輸出結果：

Topic:partopic  PartitionCount:2    ReplicationFactor:2 Configs:
    Topic: partopic Partition: 0    Leader: 0   Replicas: 0,1   Isr: 0
    Topic: partopic Partition: 1    Leader: 0   Replicas: 1,0   Isr: 0

複製代碼

建立Kafka管理節點:

kafka-manager有圖形化UI，能夠方便的監控集羣狀態，調整隊列配置

$ docker run -itd --restart=always --name=kafka-manager -p 9000:9000 -e ZK_HOSTS="192.168.0.102:2181" sheepkiller/kafka-manager

容器啓動之後訪問主機的9000端口，0.0.0:9000

首次進入須要添加一個集羣標識，以下圖所示

配置好之後，經過Zookeeper該管理節點能夠讀取到整個Kafka集羣的信息，而且咱們能夠經過JMX直接看到集羣的健康狀態

也能夠看到主題的讀寫速度，偏移量等信息，以下圖所示：

Brokers ,Partitions,Replicas 都能看到

以及 group:

參考文章:

blog.csdn.net/lblblblblzd…

blog.csdn.net/lblblblblzd…

原文地址: mac 使用 docker搭建 kafka集羣 + Zookeeper + kafka-manager