Kafka是分佈式發佈-訂閱消息系統,最初由LinkedIn公司開發,以後成爲以後成爲Apache基金會的一部分,由Scala和Java編寫。Kafka是一種快速、可擴展的、設計內在就是分佈式的,分區的和可複製的提交日誌服務。apache
它與傳統系統相比,有如下不一樣:vim
- 它被設計爲一個分佈式系統,易於向外擴展;
- 它同時爲發佈和訂閱提供高吞吐量;
- 它支持多訂閱者,當失敗時能自動平衡消費者;
- 它將消息持久化到磁盤,所以可用於批量消費,例如ETL,以及實時應用程序。
從官網下載Kafka安裝包,解壓安裝,或直接使用命令下載。centos
wget http://mirror.bit.edu.cn/apache/kafka/1.0.0/kafka_2.11-1.0.0.tgz
解壓安裝bash
tar -zvxf kafka_2.11-1.0.0.tgz -C /usr/local/ d /usr/local/kafka_2.11-1.0.0/
修改配置文件服務器
vim config/server.properties
修改其中併發
broker.id=1 log.dirs=data/kafka-logs
使用安裝包中的腳本啓動單節點Zookeeper實例:分佈式
bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
使用kafka-server-start.sh啓動kafka服務:centos7
bin/kafka-server-start.sh config/server.properties
使用kafka-topics.sh 建立但分區單副本的topic testspa
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
bin/kafka-topics.sh --list --zookeeper localhost:2181
使用kafka-console-producer.sh 發送消息設計
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
使用kafka-console-consumer.sh 接收消息並在終端打印
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic test
bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test
第一行給出了全部分區的摘要,每一個附加行給出了關於一個分區的信息。 因爲咱們只有一個分區,因此只有一行。
「Leader」: 是負責給定分區的全部讀取和寫入的節點。 每一個節點將成爲分區隨機選擇部分的領導者。
「Replicas」: 是複製此分區日誌的節點列表,不管它們是不是領導者,或者即便他們當前處於活動狀態。
「Isr」: 是一組「同步」副本。這是複製品列表的子集,當前活着並被引導到領導者。
Kafka支持兩種模式的集羣搭建:
利用單節點部署多個broker。不一樣的broker不一樣的id,監聽端口以及日誌目錄,如:
cp config/server.properties config/server-1.properties cp config/server.properties config/server-2.properties
vim config/server-1.properties #修改內容 broker.id=2 listeners=PLAINTEXT://your.host.name:9093 log.dirs=/data/kafka-logs-1 vim config/server-2.properties #修改內容 broker.id=3 listeners=PLAINTEXT://your.host.name:9094 log.dirs=/data/kafka-logs-2
in/kafka-server-start.sh config/server-1.properties bin/kafka-server-start.sh config/server-2.properties
分別在多個節點按上述方式安裝Kafka,配置啓動多個Zookeeper 實例。如:192.168.18.130、192.168.18.13一、192.168.18.132三臺機器
分別配置多個機器上的Kafka服務 設置不一樣的broke id,zookeeper.connect設置以下:
zookeeper.connect=192.168.18.130:2181,192.168.18.131:2181,192.168.18.132:2181