CentOS7下Kafka的安裝介紹

介紹

Kafka是分佈式發佈-訂閱消息系統,最初由LinkedIn公司開發,以後成爲以後成爲Apache基金會的一部分,由ScalaJava編寫。Kafka是一種快速、可擴展的、設計內在就是分佈式的,分區的和可複製的提交日誌服務。apache

它與傳統系統相比,有如下不一樣:vim

  • 它被設計爲一個分佈式系統,易於向外擴展;
  • 它同時爲發佈和訂閱提供高吞吐量;
  • 它支持多訂閱者,當失敗時能自動平衡消費者;
  • 它將消息持久化到磁盤,所以可用於批量消費,例如ETL,以及實時應用程序。

基礎概念

  • Broker:Kafka集羣包含一個或多個服務器,這些服務器就是Broker
  • Topic:每條發佈到Kafka集羣的消息都必須有一個Topic
  • Partition:是物理概念上的分區,爲了提供系統吞吐率,在物理上每一個Topic會分紅一個或多個Partition,每一個Partition對應一個文件夾
  • Producer:消息產生者,負責生產消息併發送到Kafka Broker
  • Consumer:消息消費者,向kafka broker讀取消息並處理的客戶端。
  • Consumer Group:每一個Consumer屬於一個特定的組,組能夠用來實現一條消息被組內多個成員消費等功能。

安裝kakfka

官網下載Kafka安裝包,解壓安裝,或直接使用命令下載。centos

wget http://mirror.bit.edu.cn/apache/kafka/1.0.0/kafka_2.11-1.0.0.tgz

解壓安裝bash

tar -zvxf kafka_2.11-1.0.0.tgz -C /usr/local/
d /usr/local/kafka_2.11-1.0.0/

修改配置文件服務器

vim config/server.properties

修改其中併發

broker.id=1
log.dirs=data/kafka-logs

功能驗證

啓動zookeeper

使用安裝包中的腳本啓動單節點Zookeeper實例:分佈式

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

啓動Kafka服務

使用kafka-server-start.sh啓動kafka服務:centos7

bin/kafka-server-start.sh config/server.properties

建立Topic

使用kafka-topics.sh 建立但分區單副本的topic testspa

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

查看Topic

bin/kafka-topics.sh --list --zookeeper localhost:2181

產生消息

使用kafka-console-producer.sh 發送消息設計

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

消費消息

使用kafka-console-consumer.sh 接收消息並在終端打印

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

刪除Topic

bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic test

查看描述 Topic 信息

bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test

第一行給出了全部分區的摘要,每一個附加行給出了關於一個分區的信息。 因爲咱們只有一個分區,因此只有一行。

「Leader」: 是負責給定分區的全部讀取和寫入的節點。 每一個節點將成爲分區隨機選擇部分的領導者。

「Replicas」: 是複製此分區日誌的節點列表,不管它們是不是領導者,或者即便他們當前處於活動狀態。

「Isr」: 是一組「同步」副本。這是複製品列表的子集,當前活着並被引導到領導者。

集羣配置

Kafka支持兩種模式的集羣搭建:

  1. 單機多broker集羣配置;
  2. 多機多broker集羣配置。

單機多breoker

利用單節點部署多個broker。不一樣的broker不一樣的id,監聽端口以及日誌目錄,如:

  • 將配置文件複製兩份
cp config/server.properties config/server-1.properties
cp config/server.properties config/server-2.properties
  • 修改配置文件信息
vim config/server-1.properties
#修改內容
broker.id=2
listeners=PLAINTEXT://your.host.name:9093
log.dirs=/data/kafka-logs-1


vim config/server-2.properties
#修改內容
broker.id=3
listeners=PLAINTEXT://your.host.name:9094
log.dirs=/data/kafka-logs-2
  • 啓動多個kafka服務
in/kafka-server-start.sh config/server-1.properties 

bin/kafka-server-start.sh config/server-2.properties
  • 最後按照上面方法產生和消費信息。

多機多broker

分別在多個節點按上述方式安裝Kafka,配置啓動多個Zookeeper 實例。如:192.168.18.130、192.168.18.13一、192.168.18.132三臺機器

分別配置多個機器上的Kafka服務 設置不一樣的broke id,zookeeper.connect設置以下:

zookeeper.connect=192.168.18.130:2181,192.168.18.131:2181,192.168.18.132:2181

參考資料

  1. 在CentOS 7上安裝Kafka
  2. Apache Kafka:下一代分佈式消息系統
  3. Kafka 安裝及快速入門
相關文章
相關標籤/搜索