Kafka特性

時間 2019-12-08

標籤 kafka 特性欄目 Kafka 简体版

原文原文鏈接

————————————————————————————————————————————————服務器

【關鍵原理】數據結構

1.消息文件存儲（消息堆積能力）異步

2.消息topic分區分佈式

3.消息順序的保證oop

4.拉模型（消費者水平擴展）性能

————————————————————————————————————————————————設計

【關鍵概念】日誌

Producer ：消息生產者，就是向kafka broker發消息的客戶端。隊列

Consumer ：消息消費者，向kafka broker取消息的客戶端內存

Topic ：咋們能夠理解爲一個隊列。

Consumer Group （CG）：這是kafka用來實現一個topic消息的廣播（發給全部的consumer）和單播（發給任意一個consumer）的手段。一個topic能夠有多個CG。topic的消息會複製（不是真的複製，是概念上的）到全部的CG，但每一個CG只會把消息發給該CG中的一個consumer。若是須要實現廣播，只要每一個consumer有一個獨立的CG就能夠了。要實現單播只要全部的consumer在同一個CG。用CG還能夠將consumer進行自由的分組而不須要屢次發送消息到不一樣的topic。

Broker ：一臺kafka服務器就是一個broker。一個集羣由多個broker組成。一個broker能夠容納多個topic。

Partition：爲了實現擴展性，一個很是大的topic能夠分佈到多個broker（即服務器）上，一個topic能夠分爲多個partition，每一個partition是一個有序的隊列。partition中的每條消息都會被分配一個有序的id（offset）。kafka只保證按一個partition中的順序將消息發給consumer，不保證一個topic的總體（多個partition間）的順序。

Offset：kafka的存儲文件都是按照offset.kafka來命名，用offset作名字的好處是方便查找。例如你想找位於2049的位置，只要找到2048.kafka的文件便可。固然the first offset就是00000000000.kafka

————————————————————————————————————————————————

處理大量數據。Kafka主要的設計約束是吞吐量而不是功能。（活躍的流式數據實時處理）

分佈式應用間的通訊。

基於拉的消費模型讓消費者以本身的速度處理消息

若是處理消息時出現了異常，消費者始終能夠選擇再消費該消息。

【kafka設計目標】

高吞吐量是其核心設計之一。

數據磁盤持久化：消息不在內存中cache，直接寫入到磁盤，充分利用磁盤的順序讀寫性能。

zero-copy：減小IO操做步驟。

支持數據批量發送和拉取。

支持數據壓縮。